使用Hadoop處理大數(shù)據(jù)訣竅:從小處著手

責(zé)任編輯:editor004

2014-02-21 17:34:28

摘自:中國行業(yè)研究網(wǎng)

作為大數(shù)據(jù)技術(shù)的典范,Hadoop一直為采用大數(shù)據(jù)的企業(yè)祝福并詛咒著。但更多人不知道的是,企業(yè)使用Hadoop處理大數(shù)據(jù)的訣竅,其實就是從小處著手。

作為大數(shù)據(jù)技術(shù)的典范,Hadoop一直為采用大數(shù)據(jù)的企業(yè)祝福并詛咒著。Hadoop功能強(qiáng)大,卻非常復(fù)雜,這使得很多企業(yè)都寧愿等待更容易的東西問世,再推出大數(shù)據(jù)項目。

等待已經(jīng)結(jié)束。Hadoop在穩(wěn)步前進(jìn),來自諸如Hortonworks和Cloudera等廠商顯著的易用性增強(qiáng),使得Hadoop的學(xué)習(xí)曲線已經(jīng)減少了一半。企業(yè)正越來越多擁抱大數(shù)據(jù)和Hadoop,目的是從基本的ETL工作負(fù)載遷移到先進(jìn)的數(shù)據(jù)分析。

但更多人不知道的是,企業(yè)使用Hadoop處理大數(shù)據(jù)的訣竅,其實就是從小處著手。

采用Hadoop的關(guān)鍵 小處開始大數(shù)據(jù)之旅小?這似乎是與Hadoop關(guān)系不大的一個詞。但它完全符合大數(shù)據(jù)的現(xiàn)實。我們往往談?wù)揌adoop在PB級和ZB級數(shù)據(jù)的優(yōu)勢,但大部分企業(yè)其實并不具備PB級規(guī)模的問題。至少,他們現(xiàn)在還不清楚怎么去管理這種級別的問題。

相反,大數(shù)據(jù)咨詢公司NewVantage Partners的一項調(diào)查顯示,企業(yè)首先關(guān)注的是掌握新類型的非結(jié)構(gòu)化數(shù)據(jù)。Gartner證實了這一點(diǎn),它指出:“許多組織發(fā)現(xiàn)大數(shù)據(jù)的多樣性比大體量或?qū)崟r性的挑戰(zhàn)更大。”

因此,聰明的Hadoop廠商正在修正他們的策略,幫助企業(yè)從小規(guī)模部署著手,并從那里成長。Hortonworks企業(yè)戰(zhàn)略副總裁Shaun Connolly在接受記者采訪時表示:

“我們已經(jīng)看到可重復(fù)的采用模式,從側(cè)重于一個新的數(shù)據(jù)類型開始,并建立或增強(qiáng)有針對性的應(yīng)用程序,圍繞新的數(shù)據(jù)類型。這些新的應(yīng)用程序通常由一個業(yè)務(wù)線驅(qū)動,并從以下新類型之一的數(shù)據(jù)開始:社交媒體,點(diǎn)擊流,服務(wù)器日志,傳感器和機(jī)器數(shù)據(jù),地理定位數(shù)據(jù)和文件(文本,視頻,音頻等)。

”最終部署更多的應(yīng)用和新的數(shù)據(jù)類型導(dǎo)致更廣泛的現(xiàn)代化數(shù)據(jù)架構(gòu)。但成功的客戶開始從特定類型的數(shù)據(jù)釋放價值,然后沖洗,并從那里重復(fù)他們的旅程。“對于證明Hadoop的價值,從小的、可衡量的項目啟動,這是一個偉大的方式,不強(qiáng)迫企業(yè)在前期就吞下整個大象。這是一個聰明的策略,讓強(qiáng)大的技術(shù)可以很容易地被采納。

這樣一來,Hadoop正在變成人們真正想要談?wù)摰?rdquo;房間里的大象“。雖然更多的人都在談?wù)摯髷?shù)據(jù),但實際推出重要的大數(shù)據(jù)項目的組織要少得多,Gartner強(qiáng)調(diào),只有8%的企業(yè)已實際部署大數(shù)據(jù)項目,盡管64%的企業(yè)宣稱他們打算這么做。這些公司看重的是Hadoop大數(shù)據(jù)項目帶來的實質(zhì)性增長,可實現(xiàn)的商業(yè)價值,而不是Hadoop的炒作。

事實上,今天大多數(shù)大數(shù)據(jù)項目,往往以現(xiàn)有用例的增量改進(jìn)為重點(diǎn),例如,更好地了解客戶的需求,使流程更加高效,進(jìn)一步降低成本,或更好地檢測風(fēng)險。對于所有的關(guān)于大大改變一個企業(yè)的業(yè)務(wù)的談?wù)?,大部分的大?shù)據(jù)以及由此延伸的大多數(shù)的Hadoop的部署,重點(diǎn)是逐步改進(jìn),而不是徹底改變的項目。

這是有道理的。企業(yè)首先小步驟地采用Hadoop實施可以實現(xiàn)的項目,然后掌握該技術(shù),然后再做大。

在2014年,我們將看到Hadoop被加速采用。Hortonworks的Connolly和Cloudera的Mike Olson都看到了他們的業(yè)務(wù)在2013年獲得迅速的發(fā)展,且最后兩個季度的發(fā)展節(jié)奏更快。這樣的加速度反映了他們對營銷信息的改善,已圍繞企業(yè)如何更容易地從Hadoop真正獲得價值,同時也表明,企業(yè)從Hadoop獲得價值的門檻已經(jīng)降低。

最后再次重復(fù),Hadoop越專注于小規(guī)模部署,最終用于大規(guī)模部署的可能性越大。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號