大數(shù)據(jù)(Big data)正構(gòu)成我們明天的新大陸。
從2012年開(kāi)始,我們將從大陸時(shí)代,移民進(jìn)入大數(shù)據(jù)時(shí)代。
麥肯錫公司提出的大數(shù)據(jù)時(shí)代到來(lái)的觀點(diǎn),引起了全球廣泛的反響。多家機(jī)構(gòu)認(rèn)為,“大數(shù)據(jù)”將會(huì)成為貫穿2012年的一條全新投資主線。
作為特指的大數(shù)據(jù),按EMC的界定,其中的“大”是指大型數(shù)據(jù)集,一般在10TB規(guī)模左右;多用戶把多個(gè)數(shù)據(jù)集放在一起,形成PB級(jí)的數(shù)據(jù)量;同時(shí)這些數(shù)據(jù)來(lái)自多種數(shù)據(jù)源,以實(shí)時(shí)、迭代的方式來(lái)實(shí)現(xiàn)。IBM把大數(shù)據(jù)概括成了三個(gè)V,即大量化(Volume)、多樣化(Variety)和快速化(Velocity)。大數(shù)據(jù)通常與Hadoop、NoSQL、數(shù)據(jù)分析與挖掘、數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能以及開(kāi)源云計(jì)算架構(gòu)等諸多熱點(diǎn)話題聯(lián)系在一起。
作為泛指的大數(shù)據(jù),則指向了定制化、差異化、個(gè)性化方向的競(jìng)爭(zhēng)力。例如美國(guó)奧巴馬總統(tǒng)委員會(huì)的科技顧問(wèn)Stephen Brobst所說(shuō):“過(guò)去3年里產(chǎn)生的數(shù)據(jù)量比以往4萬(wàn)年的數(shù)據(jù)量還要多,大數(shù)據(jù)時(shí)代的來(lái)臨已經(jīng)毋庸置疑。我們即將面臨一場(chǎng)變革,新興大數(shù)據(jù)將成為企業(yè)發(fā)展的當(dāng)務(wù)之急,而常規(guī)技術(shù)已經(jīng)難以應(yīng)對(duì)Pb級(jí)的大規(guī)模數(shù)據(jù)量。這一變化所帶來(lái)的挑戰(zhàn),是成功的企業(yè)在未來(lái)發(fā)展過(guò)程中必須要面對(duì)的。只有那些能夠運(yùn)用這些新數(shù)據(jù)型態(tài)的企業(yè),方能打造可持續(xù)的重要競(jìng)爭(zhēng)優(yōu)勢(shì)。”
我們?cè)詾橐呀?jīng)進(jìn)入數(shù)據(jù)時(shí)代,其實(shí)真正的數(shù)據(jù)時(shí)代從2012年剛剛開(kāi)始。標(biāo)志性的區(qū)別就在于,以往的數(shù)據(jù)只是結(jié)構(gòu)化的數(shù)據(jù),是非個(gè)性化的數(shù)據(jù);而進(jìn)入2012年,非結(jié)構(gòu)化數(shù)據(jù)占有比例將達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上,這意味著個(gè)性化數(shù)據(jù)時(shí)代的到來(lái)。
異質(zhì)性、個(gè)性化,這才是數(shù)據(jù)的真正本質(zhì)。而那種一模一樣的數(shù)據(jù),與長(zhǎng)相相同的麥當(dāng)勞、鐵鍬一樣,仍屬于過(guò)去的時(shí)代。
在真正的數(shù)據(jù)時(shí)代,網(wǎng)商將不再奔向數(shù)據(jù)趨同的淘寶商城,而將涌向提供個(gè)性化競(jìng)爭(zhēng)力的AaaS(分析即服務(wù),analytics-as-a-service),撲向3V的懷抱。
淘寶目前每天活躍數(shù)據(jù)量已經(jīng)超過(guò)50TB,共有4億條產(chǎn)品訊息和2億多名注冊(cè)用戶在上面活動(dòng),每天超過(guò)4000萬(wàn)人次訪問(wèn)。“大數(shù)據(jù)”的作用,就是把這些數(shù)據(jù)采集進(jìn)數(shù)據(jù)倉(cāng)庫(kù)中,然后用分布式的技術(shù)框架(Hadoop),對(duì)非關(guān)系型數(shù)據(jù)進(jìn)行異質(zhì)性處理(NoSQL),通過(guò)數(shù)據(jù)分析與挖掘,發(fā)展一對(duì)一的商業(yè)智能,從中產(chǎn)生讓網(wǎng)商因小而美、不再打價(jià)格戰(zhàn)的企業(yè)和個(gè)人競(jìng)爭(zhēng)力;讓中國(guó)產(chǎn)生不再依靠“中國(guó)制造”,而轉(zhuǎn)向“中國(guó)創(chuàng)造”的國(guó)家競(jìng)爭(zhēng)力。
大數(shù)據(jù)時(shí)代,還會(huì)使一些具有數(shù)據(jù)核心技術(shù)的企業(yè)面臨新的機(jī)會(huì)。IBM希望提供端到端、整體的大數(shù)據(jù)解決方案,機(jī)器人“沃森”在人機(jī)大戰(zhàn)中獲勝就是其中的成果。眼看已經(jīng)不行的惠普,隨著對(duì)數(shù)據(jù)分析倉(cāng)庫(kù)供應(yīng)商Vertica的收購(gòu),儼然有了追隨Teradata的資本。只要愚蠢的投資人不再多事,就有可能咸魚翻身。更不用說(shuō)EMC占對(duì)了內(nèi)存計(jì)算的要津,搶得大數(shù)據(jù)和云計(jì)算的先機(jī)。幾家歡樂(lè)幾家愁,就看數(shù)據(jù)有沒(méi)有。
我個(gè)人以為,大數(shù)據(jù)并不像某些人說(shuō)的,是云計(jì)算之“后”的又一浪。而就是云計(jì)算本身。因?yàn)槎际菙?shù)據(jù)的大規(guī)模集聚與定制化分布的結(jié)合。
我們來(lái)到了一個(gè)人類新的分水嶺,由此要把農(nóng)業(yè)文明的分散化,與工業(yè)文明的集中化,在大數(shù)據(jù)中融為一體,集天地之精華,釋放出無(wú)窮的能量,達(dá)到信息時(shí)代的“光明頂”。來(lái)源互聯(lián)網(wǎng)周刊)