作為大數(shù)據(jù)技術(shù)的典范,Hadoop一直為采用大數(shù)據(jù)的企業(yè)祝福并詛咒著。Hadoop功能強(qiáng)大,卻非常復(fù)雜,這使得很多企業(yè)都寧愿等待更容易的東西問世,再推出大數(shù)據(jù)項(xiàng)目。
等待已經(jīng)結(jié)束。Hadoop在穩(wěn)步前進(jìn),來自諸如Hortonworks和Cloudera等廠商顯著的易用性增強(qiáng),使得Hadoop的學(xué)習(xí)曲線已經(jīng)減少了一半。企業(yè)正越來越多擁抱大數(shù)據(jù)和Hadoop,目的是從基本的ETL工作負(fù)載遷移到先進(jìn)的數(shù)據(jù)分析。
但更多人不知道的是,企業(yè)使用Hadoop處理大數(shù)據(jù)的訣竅,其實(shí)就是從小處著手。
小?這似乎是與Hadoop關(guān)系不大的一個詞。但它完全符合大數(shù)據(jù)的現(xiàn)實(shí)。我們往往談?wù)揌adoop在PB級和ZB級數(shù)據(jù)的優(yōu)勢,但大部分企業(yè)其實(shí)并不具備PB級規(guī)模的問題。至少,他們現(xiàn)在還不清楚怎么去管理這種級別的問題。
相反,大數(shù)據(jù)咨詢公司NewVantage Partners的一項(xiàng)調(diào)查顯示,企業(yè)首先關(guān)注的是掌握新類型的非結(jié)構(gòu)化數(shù)據(jù)。Gartner證實(shí)了這一點(diǎn),它指出:“許多組織發(fā)現(xiàn)大數(shù)據(jù)的多樣性比大體量或?qū)崟r(shí)性的挑戰(zhàn)更大。”
因此,聰明的Hadoop廠商正在修正他們的策略,幫助企業(yè)從小規(guī)模部署著手,并從那里成長。Hortonworks企業(yè)戰(zhàn)略副總裁Shaun Connolly在接受記者采訪時(shí)表示:
“我們已經(jīng)看到可重復(fù)的采用模式,從側(cè)重于一個新的數(shù)據(jù)類型開始,并建立或增強(qiáng)有針對性的應(yīng)用程序,圍繞新的數(shù)據(jù)類型。這些新的應(yīng)用程序通常由一個業(yè)務(wù)線驅(qū)動,并從以下新類型之一的數(shù)據(jù)開始:社交媒體,點(diǎn)擊流,服務(wù)器日志,傳感器和機(jī)器數(shù)據(jù),地理定位數(shù)據(jù)和文件(文本,視頻,音頻等)。
“最終部署更多的應(yīng)用和新的數(shù)據(jù)類型導(dǎo)致更廣泛的現(xiàn)代化數(shù)據(jù)架構(gòu)。但成功的客戶開始從特定類型的數(shù)據(jù)釋放價(jià)值,然后沖洗,并從那里重復(fù)他們的旅程。”
對于證明Hadoop的價(jià)值,從小的、可衡量的項(xiàng)目啟動,這是一個偉大的方式,不強(qiáng)迫企業(yè)在前期就吞下整個大象。這是一個聰明的策略,讓強(qiáng)大的技術(shù)可以很容易地被采納。
這樣一來,Hadoop正在變成人們真正想要談?wù)摰?ldquo;房間里的大象”。雖然更多的人都在談?wù)摯髷?shù)據(jù),但實(shí)際推出重要的大數(shù)據(jù)項(xiàng)目的組織要少得多,Gartner強(qiáng)調(diào),只有8%的企業(yè)已實(shí)際部署大數(shù)據(jù)項(xiàng)目,盡管64%的企業(yè)宣稱他們打算這么做。這些公司看重的是Hadoop大數(shù)據(jù)項(xiàng)目帶來的實(shí)質(zhì)性增長,可實(shí)現(xiàn)的商業(yè)價(jià)值,而不是Hadoop的炒作。
事實(shí)上,今天大多數(shù)大數(shù)據(jù)項(xiàng)目,往往以現(xiàn)有用例的增量改進(jìn)為重點(diǎn),例如,更好地了解客戶的需求,使流程更加高效,進(jìn)一步降低成本,或更好地檢測風(fēng)險(xiǎn)。對于所有的關(guān)于大大改變一個企業(yè)的業(yè)務(wù)的談?wù)?,大部分的大?shù)據(jù)以及由此延伸的大多數(shù)的Hadoop的部署,重點(diǎn)是逐步改進(jìn),而不是徹底改變的項(xiàng)目。
這是有道理的。企業(yè)首先小步驟地采用Hadoop實(shí)施可以實(shí)現(xiàn)的項(xiàng)目,然后掌握該技術(shù),然后再做大。
在2014年,我們將看到Hadoop被加速采用。Hortonworks的Connolly和Cloudera的Mike Olson都看到了他們的業(yè)務(wù)在2013年獲得迅速的發(fā)展,且最后兩個季度的發(fā)展節(jié)奏更快。這樣的加速度反映了他們對營銷信息的改善,已圍繞企業(yè)如何更容易地從Hadoop真正獲得價(jià)值,同時(shí)也表明,企業(yè)從Hadoop獲得價(jià)值的門檻已經(jīng)降低。
最后再次重復(fù),Hadoop越專注于小規(guī)模部署,最終用于大規(guī)模部署的可能性越大。