虛擬化用“七板斧” 贏得了Hadoop芳心

責(zé)任編輯:editor008

2014-06-27 10:02:55

摘自:天極網(wǎng)

隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)量在瘋狂的增長(zhǎng),為企業(yè)帶來(lái)發(fā)展機(jī)遇的同時(shí),也為企業(yè)帶來(lái)巨大壓力,越來(lái)越多的企業(yè)開(kāi)始思考如何挖掘這些數(shù)據(jù)的價(jià)值。

隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)量在瘋狂的增長(zhǎng),為企業(yè)帶來(lái)發(fā)展機(jī)遇的同時(shí),也為企業(yè)帶來(lái)巨大壓力,越來(lái)越多的企業(yè)開(kāi)始思考如何挖掘這些數(shù)據(jù)的價(jià)值。

傳統(tǒng)的BI系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)系統(tǒng)都不能很好地處理這些數(shù)據(jù),原因包括:1)數(shù)據(jù)量太大,傳統(tǒng)數(shù)據(jù)庫(kù)不能有效存儲(chǔ)并維持可以接受的性能;2)新產(chǎn)生的數(shù)據(jù)往往是非結(jié)構(gòu)化的,而傳統(tǒng)方式都是為處理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的;3)傳統(tǒng)數(shù)據(jù)處理所需的硬件往往相對(duì)昂貴,隨著數(shù)據(jù)量增加而繼續(xù)用傳統(tǒng)方式處理的成本讓很多企業(yè)不能承受。為此,倍受互聯(lián)網(wǎng)界推崇的Apache Hadoop這朵奇葩日益吸引了企業(yè)界的目光,大量企業(yè)都在思考如何把Hadoop這個(gè)美麗的新娘娶回自己的數(shù)據(jù)中心。

不過(guò),傳統(tǒng)的企業(yè)數(shù)據(jù)中心要想娶回這個(gè)妖艷新娘可不是那么簡(jiǎn)單。Hadoop的部署、運(yùn)維都需要很多極客才能完全掌控,完全超出了傳統(tǒng)企業(yè)數(shù)據(jù)中心的技術(shù)能力;另外,Hadoop不僅需要專(zhuān)門(mén)硬件,而且安全和服務(wù)等級(jí)確保也是挑戰(zhàn)。如何能享受美麗新娘的溫柔夢(mèng)鄉(xiāng)而不帶來(lái)其他的后患成為企業(yè)選擇Hadoop的現(xiàn)實(shí)挑戰(zhàn)。   

從服務(wù)器虛擬化到整個(gè)數(shù)據(jù)中心虛擬化,今天我們已經(jīng)充分感受到了虛擬化這個(gè)小子的力量!如果虛擬化能和Hadoop來(lái)場(chǎng)戀愛(ài),企業(yè)數(shù)據(jù)中心選擇Hadoop的羈絆是不是都會(huì)一掃而光呢?答案是肯定的。虛擬化能讓Hadoop和底層物理硬件分離,真正步入云端翩躚起舞,Hadoop從而輕松步入快速部署、高可用、資源彈性調(diào)度和安全多租戶(hù)的云端殿堂,企業(yè)數(shù)據(jù)中心大數(shù)據(jù)分析和利用的美夢(mèng)才能真正成為現(xiàn)實(shí)。   

讓我們一起來(lái)揭開(kāi)虛擬化這小子的戀愛(ài)秘籍吧,以便更好地利用Hadoop來(lái)應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。

1)快速部署Hadoop:我們已經(jīng)熟悉虛擬化的密碼,包括虛擬機(jī)、快照、模板、資源動(dòng)態(tài)分配等,這些特性能很好地降服了大量應(yīng)用部署的難題,Hadoop當(dāng)然也不在話(huà)下,可以大幅度提高Hadoop節(jié)點(diǎn)的部署速度。同時(shí),可以按需快速啟動(dòng)和關(guān)閉Hadoop節(jié)點(diǎn),從而實(shí)現(xiàn)資源的高效利用,比如VMware發(fā)布的Serengeti開(kāi)源項(xiàng)目,助推了虛擬化和Hadoop之戀的進(jìn)程;

2)為Hadoop提供高可用和容錯(cuò)能力:盡管Hadoop通過(guò)數(shù)據(jù)分布復(fù)制提高了系統(tǒng)可靠性,但仍然有很多部件存在單點(diǎn)故障,這種結(jié)構(gòu)在互聯(lián)網(wǎng)企業(yè)中可能不是問(wèn)題,但對(duì)傳統(tǒng)數(shù)據(jù)中心來(lái)說(shuō)絕對(duì)是個(gè)挑戰(zhàn)。比如:Namenode和jobtracker以及某些支持模塊都存在單點(diǎn)故障,通過(guò)虛擬小子的平臺(tái)高可用可以為這些模組輕松賦予高可靠的特性,讓Hadoop走進(jìn)企業(yè)數(shù)據(jù)中心后,您仍然能高枕無(wú)憂(yōu);

3)擁抱Hadoop的高效數(shù)據(jù)中心:通過(guò)虛擬小子動(dòng)態(tài)調(diào)度能力,可以將各種不同的負(fù)載混搭在企業(yè)數(shù)據(jù)中心云端平臺(tái),Hadoop當(dāng)然也可以與其他負(fù)載同床共枕,通過(guò)嚴(yán)格的安全隔離,確保不會(huì)發(fā)生任何沖突。甚至你可以在同一云平臺(tái)運(yùn)行不同版本的Hadoop,相互之間和平共處,資源共享,在確??捎眯?、性能的前提下,降低了傳統(tǒng)部署Hadoop的總體成本,輕松實(shí)現(xiàn)了高效數(shù)據(jù)中心的目標(biāo);

4)大幅提升Hadoop環(huán)境資源利用率:將Hadoop和其他負(fù)載部署在同一主機(jī)上,通過(guò)資源控制策略來(lái)實(shí)現(xiàn)資源的高效分配和調(diào)度,實(shí)現(xiàn)Hadoop在云端的完美漫步,是虛擬化小子贏得這場(chǎng)戀愛(ài)的關(guān)鍵一環(huán);

5)Hadoop云端多租戶(hù):通過(guò)虛擬化的隔離能力,Hadoop確保本身多租戶(hù)的完美體驗(yàn),不同的租戶(hù)可以將Hadoop和其他負(fù)載混合運(yùn)行在云端資源池,多租戶(hù)順利部署實(shí)現(xiàn);

6)安全隔離:虛擬小子的安全隔離能力,讓不同組織、用戶(hù)的Hadoop可以無(wú)憂(yōu)運(yùn)行,輕松達(dá)成數(shù)據(jù)和環(huán)境完全隔離的目標(biāo),同時(shí)共享底層的物理資源;

7)易于維護(hù)和遷移:虛擬化讓Hadoop節(jié)點(diǎn)易于復(fù)制、遷移,方便了同數(shù)據(jù)中心不同集群之間、一個(gè)數(shù)據(jù)中心到另一個(gè)數(shù)據(jù)中心跨云遷移等瞬間實(shí)現(xiàn),Hadoop再也不是一個(gè)行動(dòng)不便的媚娘。  

D1Net評(píng)論:

可以看出,虛擬化這小子,用7板斧就順利贏得了Hadoop的芳心,不僅僅讓Hadoop沒(méi)給傳統(tǒng)的企業(yè)數(shù)據(jù)中心添亂,而且Hadoop在虛擬平臺(tái)上的魅力未減,因?yàn)榇罅康氖聦?shí)已經(jīng)印證了虛擬化的Hadoop節(jié)點(diǎn)運(yùn)行性能依然堪比物理環(huán)境,同時(shí)還帶來(lái)了大量的成本節(jié)約。Hadoop和虛擬化門(mén)當(dāng)戶(hù)對(duì),他們的戀愛(ài)能否開(kāi)花結(jié)果,讓我們拭目以待。

 

(注:原文章來(lái)自于天極網(wǎng))

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)