對于Hadoop技術(shù)而言,可以說是開源領(lǐng)域的傳奇,然而如今業(yè)界還伴隨著一些流言,這些流言可能會(huì)導(dǎo)致IT高管們帶著“有色”的觀點(diǎn)去制定策略。
從IDC分析師報(bào)告中2013年數(shù)據(jù)存儲(chǔ)上的增長速度將達(dá)到53.4%,AT&T更是聲稱無線數(shù)據(jù)的流量在過去的5年內(nèi)增長200倍,從互聯(lián)網(wǎng)內(nèi)容、電子郵件、應(yīng)用通知、社交消息以及每天接收的消息都在顯著的增長,這也是眾多大企業(yè)都聚焦大數(shù)據(jù)的原因所在。
毫無疑問,Hadoop成為解決大數(shù)據(jù)需求的主要投資領(lǐng)域之一,而類似Facebook等互聯(lián)網(wǎng)巨頭在都公開的吹捧Hadoop上取得的成功,同樣初入大數(shù)據(jù)領(lǐng)域的公司也必先著眼于Hadoop。但對于Hadoop技術(shù)而言,是一個(gè)多維的解決方案,可以通過不同的方式進(jìn)行部署和使用。下面就了解一些關(guān)于Hadoop和大數(shù)據(jù)的七大錯(cuò)誤理念:
1.大數(shù)據(jù)僅僅是容量
對大數(shù)據(jù)來說,除了指體積之外,還經(jīng)常提到Variety(多樣)、Variability(可變)、Velocity(速度)和Value(價(jià)值)。關(guān)鍵點(diǎn)在于大數(shù)據(jù)并不是體積上的增長,更多是未來的實(shí)時(shí)分析、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的發(fā)展,并被企業(yè)CIO用于更好的決策。
綜上所述,并不是只有分析大數(shù)據(jù)才會(huì)獲得價(jià)值。舉個(gè)例子,存儲(chǔ)和分析1PB的超時(shí)限數(shù)據(jù)的價(jià)值可能比不上實(shí)時(shí)分析1GB的數(shù)據(jù),而從“新鮮”的數(shù)據(jù)上獲得價(jià)值比解剖過時(shí)的數(shù)據(jù)更具價(jià)值。
2.傳統(tǒng)SQL不能在Hadoop上使用
眾多廠商在Hadoop上投入精力,布局市場戰(zhàn)略時(shí),十分清楚HDFS和MapReduce受限于處理類似SQL語言的能力,這也是Hive、Pig和Sqoop最終得以推廣的原因。更多企業(yè)通過Hadoop和SQL兼容來管理大量的數(shù)據(jù),Pivotal HD是結(jié)合SQL并行處理資料庫與Hadoop 2.0,針對企業(yè)資料分析需求而優(yōu)化的Hadoop強(qiáng)化版本。
3.Hadoop是唯一的新IT數(shù)據(jù)平臺(tái)
談到數(shù)據(jù)平臺(tái),大型機(jī)在IT投資組合里有是一個(gè)長期投資,與ERP、CRM和SCM這些系統(tǒng)一樣演變至今。而面對大數(shù)據(jù)時(shí)代,大型機(jī)不想被架構(gòu)遺棄,必須展示在現(xiàn)有IT投資環(huán)境中的價(jià)值,而許多客戶遇到速度、規(guī)模和成本的問題,通過vFabric SQLFire這樣的內(nèi)存大數(shù)據(jù)網(wǎng)絡(luò)去解決高速數(shù)據(jù)存取,促進(jìn)大型機(jī)批處理或?qū)崟r(shí)分析報(bào)告這些問題。
4.虛擬化會(huì)導(dǎo)致性能下降
Hadoop最初的設(shè)計(jì)只是運(yùn)行實(shí)體服務(wù)器上,然而隨著云計(jì)算發(fā)展,許多企業(yè)都希望能作為云數(shù)據(jù)中心提供服務(wù)。之所以虛擬化Hadoop,企業(yè)首先要考慮管理基礎(chǔ)設(shè)施的擴(kuò)展性,認(rèn)識到擴(kuò)展計(jì)算資源,比如虛擬Hadoop節(jié)點(diǎn)在數(shù)據(jù)和計(jì)算分開時(shí)會(huì)對性能有所幫助,否則如果你關(guān)閉某個(gè)Hadoop節(jié)點(diǎn)將丟失上面的所有數(shù)據(jù)或者添加一個(gè)沒有數(shù)據(jù)的空節(jié)點(diǎn)。
5.Hadoop只可以在數(shù)據(jù)中心運(yùn)行
對于在SaaS云服務(wù)解決方案,許多云服務(wù)允許云端運(yùn)行Hadoop、SQL,這無疑可以幫助企業(yè)省下數(shù)據(jù)中心建造投資的時(shí)間和金錢。特別是對于公有云情況下,Java開發(fā)者可以從Spring Data for Hadoop以及一些其它的GitHub用例中獲益。
6.Hadoop對虛擬化無經(jīng)濟(jì)價(jià)值
Hadoop被很多人認(rèn)為,盡管在商用服務(wù)器上運(yùn)行,添加一個(gè)虛擬層在帶來額外支出的同時(shí)并不會(huì)有額外的價(jià)值收益,但其實(shí)這個(gè)說法并沒有考慮到數(shù)據(jù)和數(shù)據(jù)分析事實(shí)上都是動(dòng)態(tài)的。虛擬化基礎(chǔ)設(shè)施同樣可以減少物理硬件數(shù)量,讓CAPEX(資本支出)直接等于商用硬件成本,而通過自動(dòng)以及高效利用共享基礎(chǔ)設(shè)施同樣可以減少OPEX(運(yùn)營成本)。
7.Hadoop不能運(yùn)行在SAN或NAS上
盡管Hadoop在本地磁盤上運(yùn)行,對于中小型集群一樣可以在一個(gè)共享的SAN環(huán)境下體現(xiàn)良好的性能表現(xiàn),而高帶寬比如10GB以太網(wǎng)、PoE以及iSCSI對性能同樣有很好的支持。
由此,大數(shù)據(jù)成為行業(yè)追逐的熱點(diǎn),以上七大有關(guān)大數(shù)據(jù)“誤解”問題的客觀看待。如同不同項(xiàng)目需求不同,Hadoop是一個(gè)工具來幫助企業(yè)更好的應(yīng)對大數(shù)據(jù)問題。無論是面對數(shù)據(jù)網(wǎng)格的GemFire 或SQLFire,還是面向消息的RabbitMQ中間件,一個(gè)完整的SaaS解決方案如今比在Hadoop環(huán)境更容易實(shí)現(xiàn)。