大數(shù)據(jù)對很多人來說意味著許多東西，但它的影響到底有多廣？想象一下大數(shù)據(jù)的這些特性，以及將它拼接在一起的大師們。

不再僅僅是一個(gè)流行詞

大數(shù)據(jù)，無論你如何定義它，都已經(jīng)被大肆盛贊過，也被惡意中傷過。它對很多人來說意味著許多東西：對科學(xué)家和零售店主來說是一種福利，同時(shí)也是應(yīng)對大量隱私和安全威脅時(shí)的一種可用技術(shù)。

無論是救世主還是騙局–甚至可能是兩者的結(jié)合-，大數(shù)據(jù)仍在權(quán)威人士、預(yù)言家、營銷者和安全愛好者中間成為一個(gè)流行話題。它的非官方定義也在逐漸演變。那么，它到底是什么呢？Wikipedia（維基百科）的定義開了個(gè)好頭：“任何數(shù)據(jù)的收集，數(shù)據(jù)的數(shù)量如此龐大、形式如此復(fù)雜，以至于很難采用手上的數(shù)據(jù)管理工具或傳統(tǒng)的數(shù)據(jù)處理軟件進(jìn)行處理”。

但是，當(dāng)數(shù)據(jù)分享設(shè)備呈幾何級數(shù)增長的時(shí)候，管理大批量、各式各樣、高速（經(jīng)典的3V定義）涌來的數(shù)據(jù)集所面臨的挑戰(zhàn)內(nèi)容正在改變。這些設(shè)備，我們統(tǒng)稱為物聯(lián)網(wǎng)（IoT），包括機(jī)器傳感器和面向消費(fèi)者的設(shè)備（例如相互連接的恒溫器）、電燈泡、冰箱和可穿戴的健康監(jiān)測儀。IDC預(yù)測IoT（物聯(lián)網(wǎng)）市場將在未來數(shù)年爆發(fā)式增長，從2013年底的91億部安裝設(shè)備增長到2020年的281億部。

對大數(shù)據(jù)的有用洞察可以幫助企業(yè)獲得很多潛在的好處，不僅是可以銷售更多地產(chǎn)品和服務(wù)，還能更好地管理健康、阻止假藥泛濫、追蹤恐怖分子，甚至可能跟蹤你的通話記錄。因此我們知道，大數(shù)據(jù)并沒有天生的好壞之分，重要的是你怎么用它。

具有諷刺意味的是，無論大數(shù)據(jù)在增進(jìn)人類經(jīng)驗(yàn)方面的潛力有多大，它通常還是很難收集、篩選、分析和解釋來獲得那些珍貴的思考和見解。這個(gè)幻燈片審視了大數(shù)據(jù)面臨的挑戰(zhàn)及其應(yīng)對能力。確鑿的事實(shí)會(huì)讓你感到吃驚。我們該有什么樣的期待？好吧，看起來Hadoop這個(gè)領(lǐng)先的大數(shù)據(jù)平臺(tái)的未來一片光明。數(shù)據(jù)科學(xué)家和相關(guān)的大數(shù)據(jù)專家們應(yīng)該在來年獲得收入豐厚的工作。

業(yè)內(nèi)人士已經(jīng)預(yù)計(jì)熱門詞“大數(shù)據(jù)”將逐漸淡出。Hortonworks總裁Herb Cunitz在2012年12月的一篇博文中寫道：“終究全都?xì)w于數(shù)據(jù)。大數(shù)據(jù)和對這個(gè)空間的所有預(yù)測都將瓦解，被分析師和所有那些緊隨其后的人（包括很多“大”供應(yīng)商）導(dǎo)向“數(shù)據(jù)管理””。

Cunitz可能過早地預(yù)見了“大數(shù)據(jù)”的終結(jié)，但他準(zhǔn)確地指出：終究全都?xì)w于數(shù)據(jù)。只有用于管理的工具將要改變?，F(xiàn)在，請深入研究我們的幻燈片，并觀看一些展示的統(tǒng)計(jì)分析和研究報(bào)告。

有多少數(shù)據(jù)被忽視？

根據(jù)Forrester公司最近的一項(xiàng)研究，大多數(shù)公司都預(yù)計(jì)它們分析了大約12%的現(xiàn)有數(shù)據(jù)。這是好還是壞？好吧，這些公司可能會(huì)錯(cuò)過隱藏在它們忽視的88%數(shù)據(jù)里的洞察和思考。或許它們明智地避開了資源耗竭、試圖將海水煮沸的戰(zhàn)略。Forrester認(rèn)為，分析工具的缺乏和“強(qiáng)制性”的數(shù)據(jù)孤島是公司忽視自己絕大部分?jǐn)?shù)據(jù)的兩個(gè)原因，原因還包括一個(gè)簡單的事實(shí)：對公司來說，常常很難判斷哪些信息有價(jià)值，哪些信息最好是置之不理。

大數(shù)據(jù)暴增

瘋狂的大數(shù)據(jù)對擁有一定技能的技術(shù)工人來說是個(gè)利好消息。按照Dice的說法，在一個(gè)技術(shù)和工程師專業(yè)人才網(wǎng)站上，對數(shù)據(jù)專家的需求呈猛增的態(tài)勢。該網(wǎng)站4月份的報(bào)告中提到，NoSQL專家的職位發(fā)布數(shù)量比上年增長了54%，“大數(shù)據(jù)人才”的職位則增長了46%。類似的Hadoop和Python人才職位則分別增長了43%和16%。當(dāng)然，這跟數(shù)據(jù)安全專家的職位發(fā)布比起來是小巫見大巫了，根據(jù)一項(xiàng)令人印象深刻的統(tǒng)計(jì)，后者在過去的一年里飆升了162%。

大數(shù)據(jù)到底有多大？

數(shù)字世界的體量將在僅6年內(nèi)從今天的3.2ZB增長到40ZB（1ZB大致相當(dāng)于10億TB）。Hortonworks公司CEORob Bearden 在加州圣何塞2014Hadoop峰會(huì)的主題演講中說到：“我們十分興奮地看到身邊的數(shù)據(jù)數(shù)量在爆發(fā)，企業(yè)數(shù)據(jù)的數(shù)量從現(xiàn)在到2020年將增長50倍。最重要的是，這些數(shù)據(jù)的85%來自全新的數(shù)據(jù)來源”。Bearden指出，這些來源包括移動(dòng)設(shè)備、社交媒體和聯(lián)網(wǎng)機(jī)器生成的數(shù)據(jù)，對全球的企業(yè)來說，既是挑戰(zhàn)也是機(jī)遇。