上世紀(jì)80年代末到90年代初，國內(nèi)外廣泛流傳著一句耐人尋味的話語：我們沉浸在數(shù)據(jù)的海洋中，卻渴望著知識的淡水。這句話生動(dòng)地描繪了當(dāng)時(shí)人們面對海量數(shù)據(jù)的迷惘和無奈。就在這時(shí)，世界商業(yè)巨頭沃爾瑪從其龐大的交易數(shù)據(jù)庫中演繹了一場“啤酒和尿布的故事”，揭示了一條隱藏在海量數(shù)據(jù)中的、美國人的一種行為規(guī)律：年齡在25至35歲的年輕父親下班后經(jīng)常要到超市去給嬰兒買尿布，而他們中有30%-40%的人順手為自己買幾瓶啤酒。受這條簡單的客戶行為模式的啟發(fā)，沃爾瑪調(diào)整了商品布局，并策劃了促銷價(jià)格，結(jié)果銷售量大增。這一現(xiàn)象引起了科學(xué)界的注意，他們將“啤酒和尿布的故事”引申為“關(guān)聯(lián)規(guī)則獲取”，進(jìn)而將“從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又潛在有用的信息和知識的過程”定義為“數(shù)據(jù)挖掘”。

需求是成功之源，于是西方發(fā)達(dá)國家刮起了一場數(shù)據(jù)挖掘的風(fēng)暴。商業(yè)界發(fā)現(xiàn)了沃爾瑪迅猛發(fā)展的秘訣，紛紛效仿。電信行業(yè)也沸騰了，各公司紛紛爭先恐后地利用數(shù)據(jù)挖掘這一銳利武器解決他們面臨的最緊迫的問題。工業(yè)界也行動(dòng)了，他們從堆積如山的數(shù)據(jù)中，挖掘出指導(dǎo)生產(chǎn)和管理的決策規(guī)則。

如今，全球已經(jīng)進(jìn)入了“大數(shù)據(jù)”時(shí)代。美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%，每兩年便將翻一番。大數(shù)據(jù)通過處理和分析而被發(fā)掘出來的價(jià)值就像所羅門寶藏一般吸引著各行各業(yè)。那么，這一預(yù)示著未來的新銳技術(shù)將如何改變世界？國際互聯(lián)網(wǎng)巨鱷們又將如何布局全球大數(shù)據(jù)市場？大數(shù)據(jù)還有哪些潛能尚未開發(fā)？

科技巨鱷豪賭大數(shù)據(jù)

“中國市場的潛力無疑是巨大的，在大數(shù)據(jù)領(lǐng)域中國的增速會超過世界其他地方”

——Boyd Davis

隨著大數(shù)據(jù)的商業(yè)價(jià)值愈發(fā)顯現(xiàn)，越來越多公司加入到大數(shù)據(jù)戰(zhàn)略布局中，而具備數(shù)據(jù)開發(fā)優(yōu)勢的國際互聯(lián)網(wǎng)巨鱷自然不會只滿足于已有的數(shù)據(jù)倉庫，更大規(guī)模的業(yè)務(wù)拓展正在進(jìn)行中。

燒錢大比拼

作為大型的科技企業(yè)，燒錢是必不可免的事情。谷歌、亞馬遜和微軟為確保其全球網(wǎng)絡(luò)正常運(yùn)行，都需要付出不菲代價(jià)。據(jù)統(tǒng)計(jì)，今年第一季度，這三家科技公司的資本開支總計(jì)高達(dá)46億美元，同比增長約65%。尤其是谷歌，為了構(gòu)建它的“大數(shù)據(jù)帝國”，燒錢力度更是瘋狂。統(tǒng)計(jì)顯示，僅2013年，谷歌在大數(shù)據(jù)方面的支出就比2012年上漲了一倍多，支出金額達(dá)23億美元。

《華爾街日報(bào)》今年5月8日報(bào)道稱，谷歌風(fēng)投宣布向大數(shù)據(jù)公司——癌癥病人數(shù)據(jù)提供商Flatiron Health投資1.3億美元。這將是谷歌風(fēng)投有史以來在醫(yī)藥軟件行業(yè)最大一筆投資。

谷歌風(fēng)投將醫(yī)療大數(shù)據(jù)領(lǐng)域的公司作為自己的投資組合當(dāng)中的重要組成部分。他們此前已經(jīng)投資了DNAnexus公司以及Foundation Medicine公司，前者致力于打造全世界首個(gè)能夠搜索的基因組數(shù)據(jù)庫，后者則是使用大數(shù)據(jù)分析工具來幫助治療腫瘤。

而就在今年4月，另一家國際IT巨頭英特爾，也宣布了它對大數(shù)據(jù)軟件新秀Cloudera的一筆高達(dá)7.4億美元的投資，這是英特爾有史以來在數(shù)據(jù)中心領(lǐng)域的最大單筆投資。路透社稱，以英特爾投資7.4億美元入股18%計(jì)算，這筆投資將準(zhǔn)備上市的Cloudera的估值抬高到了41億美元。

布局中國市場

IT巨頭們爭先恐后燒錢的背后是企業(yè)對大數(shù)據(jù)市場不斷膨脹的需求。根據(jù)一家名為“市場研究透明度”的美國商業(yè)信息服務(wù)公司發(fā)布的報(bào)告顯示，2012年全球大數(shù)據(jù)市場已達(dá)到63億美元。這是一個(gè)年輕的市場，有著很強(qiáng)的增長勢頭，每年平均增長40%，預(yù)計(jì)市場規(guī)模將在2018年達(dá)到500億美元。

業(yè)內(nèi)專家指出，如果說大數(shù)據(jù)在2012年和2013年在通信、金融、醫(yī)療、媒體、文化等領(lǐng)域的表現(xiàn)還不夠出色，還未成為企業(yè)投資的重要方向的話，那么大數(shù)據(jù)應(yīng)用將于2014年在企業(yè)投資中占據(jù)主流地位。對于全球第二大經(jīng)濟(jì)體的中國而言，大數(shù)據(jù)浪潮也是強(qiáng)勢襲來。雖然大數(shù)據(jù)在中國目前僅處于初級階段，但這同樣意味著中國的大數(shù)據(jù)市場潛力巨大。

專注中國IT產(chǎn)業(yè)及市場發(fā)展研究的賽迪顧問，于2013年發(fā)布了《中國大數(shù)據(jù)重點(diǎn)行業(yè)應(yīng)用市場研究白皮書》，指出中國大數(shù)據(jù)IT應(yīng)用市場規(guī)模將有望于2015年達(dá)到144.96億元人民幣，其中智慧城市、電信和金融三個(gè)細(xì)分大數(shù)據(jù)應(yīng)用市場從2013年到2015年的年復(fù)合增長率，將分別達(dá)到114.4%、97.3%和104.1%。而構(gòu)建更為高效、易用的大數(shù)據(jù)解決方案，讓各種規(guī)模的企業(yè)都能更加輕松地從海量數(shù)據(jù)中發(fā)掘更多商業(yè)價(jià)值，已成為很多IT廠商的目標(biāo)。

作為大數(shù)據(jù)領(lǐng)域的佼佼者，國際IT巨鱷們不可能放任這塊誘人的大蛋糕不理會。就在英特爾和Cloudera宣布達(dá)成合作后僅一個(gè)月，這兩家公司的高管便一同出現(xiàn)在中國。雙方宣布將進(jìn)一步推動(dòng)中國大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)發(fā)展，更好地服務(wù)于中國市場和用戶。其中，Cloudera更是計(jì)劃于今年9月份在華建立業(yè)務(wù)機(jī)構(gòu)，業(yè)務(wù)將涵蓋直銷、專業(yè)服務(wù)、客戶支持、培訓(xùn)以及研發(fā)工作等。

“中國市場的潛力無疑是巨大的，因?yàn)楹椭袊?lián)系在一起的很多經(jīng)濟(jì)現(xiàn)象都是巨大的，在中國有全球最大的移動(dòng)通信運(yùn)營商，有全球最大規(guī)模的銀行，它們帶來的機(jī)會是毫無疑問的。同時(shí)，我們也可以發(fā)現(xiàn)中國現(xiàn)在有著很多創(chuàng)新的大數(shù)據(jù)應(yīng)用，這種巨大的潛力讓我們相信，在大數(shù)據(jù)領(lǐng)域中國的增速會超過世界其他地方。”英特爾公司數(shù)據(jù)中心事業(yè)部副總裁兼數(shù)據(jù)中心軟件部總經(jīng)理Boyd Davis在接受《國際金融報(bào)》記者專訪時(shí)表示，“英特爾此前在中國大數(shù)據(jù)產(chǎn)業(yè)和市場的實(shí)踐及獲取的成功，還有中國鼓勵(lì)發(fā)展大數(shù)據(jù)技術(shù)和應(yīng)用的產(chǎn)業(yè)環(huán)境，是促使我們下定決心，與Cloudera攜手進(jìn)一步拓展中國市場的關(guān)鍵因素。”

著名市場調(diào)查機(jī)構(gòu)IDC的一項(xiàng)預(yù)測也很好地解釋了國際IT巨頭重視中國市場的原因。據(jù)該機(jī)構(gòu)預(yù)測，2020年全球新建和復(fù)制的信息量將達(dá)40ZB（ZB為澤字節(jié)簡稱，1ZB等于10萬億億字節(jié)），這將是2012年的12倍，其中來自中國的數(shù)據(jù)量就將達(dá)8ZB，相比中國2012年時(shí)的數(shù)據(jù)量，增長可達(dá)22倍，這將使中國從2012年到2020年數(shù)據(jù)量全球占比從13%增長到21%，也意味著中國大數(shù)據(jù)和數(shù)據(jù)分析將面臨巨大的機(jī)遇。

大數(shù)據(jù)開發(fā)需立“軍規(guī)”

“在實(shí)踐中，數(shù)據(jù)分析、處理的價(jià)值就在于能夠產(chǎn)生一些實(shí)際的、良好的效果，而不是過分地進(jìn)行數(shù)據(jù)采集和挖掘。”

——Kord Davis

對爭先恐后涉足大數(shù)據(jù)營銷的企業(yè)來說，數(shù)據(jù)淘金之路并非全無風(fēng)險(xiǎn)。美國連鎖百貨集團(tuán)塔吉特（Target Corp.）今年4月29日任命Bob DeRodes為新的首席信息官，取代此前因數(shù)據(jù)泄露而辭職的首席信息官Beth Jacob。

數(shù)據(jù)挖掘雙刃劍

2013年底，塔吉特承認(rèn)總計(jì)1.1億用戶信息被泄露，包括4000萬用戶的信用卡和借記卡，以及另外7000萬名用戶數(shù)據(jù)。據(jù)悉該次數(shù)據(jù)泄露事件幾乎覆蓋了塔吉特全美的1797間門店，此事也是繼2007年美國百貨零售商 TJX Companies9000萬信用卡及借記卡數(shù)據(jù)泄漏事件后的最大的數(shù)據(jù)泄露事件。

正是由于數(shù)據(jù)泄露事件，截至2014年2月1日，塔吉特產(chǎn)生了6100萬美元的額外支出，其中保險(xiǎn)賠償?shù)咒N了4400萬美元，即實(shí)際支出為1700萬美元。在2013—2014財(cái)年的第四季財(cái)季，塔吉特百貨凈利潤是5.2億美元，較2012財(cái)年同期的9.61億美元大幅減少46%，攤薄后每股收益從2012財(cái)年同期的1.47美元下降至0.81美元，凈銷售則同比下滑5.3%至21.52億美元，美國業(yè)務(wù)的同店銷售因數(shù)據(jù)泄露而比2012財(cái)年同期下降2.5%。

塔吉特的案例讓人感受到了大數(shù)據(jù)這柄雙刃劍的另一面?！洞髷?shù)據(jù)倫理學(xué)：平衡風(fēng)險(xiǎn)和創(chuàng)新》一書的作者Kord Davis便指出：“在實(shí)踐中，數(shù)據(jù)分析、處理的價(jià)值就在于能夠產(chǎn)生一些實(shí)際的、良好的效果，而不是過分地進(jìn)行數(shù)據(jù)采集和挖掘。”

由于過分地?cái)?shù)據(jù)挖掘，企業(yè)的行為引起了客戶的不滿，遭到客戶的批評指責(zé)和法律訴訟。數(shù)據(jù)隱私管理解決方案供應(yīng)商Truste于2013年9月發(fā)布的一項(xiàng)調(diào)查結(jié)果顯示，1/3的互聯(lián)網(wǎng)用戶出于隱私考慮，已經(jīng)停止使用某公司的網(wǎng)站，或者完全終止了與某公司的交易往來。

還需法律規(guī)范

于是，一些企業(yè)開始了大數(shù)據(jù)“自律”。以美國高檔連鎖百貨商店諾德斯特姆公司（Nordstrom）為例，這家美國高檔連鎖百貨商店曾利用Euclid科技公司提供的傳感器，在顧客用智能手機(jī)連接商店WiFi服務(wù)時(shí)，來獲取顧客的購物信息。但是，這一行為引起了隱私保護(hù)者們的批評，如今諾德斯特姆公司已不再采用這種分析方式了。

然而，在隱私和信息安全問題上，僅靠企業(yè)自律，顯然是一廂情愿。今年1月，美國總統(tǒng)奧巴馬指示總統(tǒng)顧問對大數(shù)據(jù)與隱私問題展開詳盡調(diào)研，希望在法律監(jiān)管與輿論博弈之下，使數(shù)據(jù)公司的野蠻生長得到有效約束。美國總統(tǒng)科學(xué)技術(shù)咨詢委員會也進(jìn)行了一項(xiàng)研究，在技術(shù)層面探尋大數(shù)據(jù)與隱私泄露之間的關(guān)聯(lián)程度。

Michael Walker是位于美國丹佛的系統(tǒng)集成商和信息技術(shù)服務(wù)商Rose Business Technologies的管理合伙人。目前，他已經(jīng)起草了一份12頁的有關(guān)數(shù)據(jù)分析和使用的行為準(zhǔn)則，用來規(guī)范數(shù)據(jù)科學(xué)家的行為，該行為準(zhǔn)則囊括了數(shù)據(jù)科學(xué)家的角色和職責(zé)在內(nèi)的所有內(nèi)容。

“企業(yè)也開始明白了數(shù)據(jù)信息二次使用和個(gè)人數(shù)據(jù)濫用的危害。”Walker說：“一旦企業(yè)開始有這樣的想法，那么他們會非常希望有一個(gè)行為準(zhǔn)則來規(guī)范他們，以免造成不必要的麻煩。”

Michael Walker表示，數(shù)據(jù)科學(xué)家也應(yīng)該向醫(yī)生或者律師一樣，利用一些道德行為準(zhǔn)則嚴(yán)格約束自己的行為。為此，他為這些數(shù)據(jù)管理和分析的人制定了一系列準(zhǔn)則和規(guī)范，以規(guī)范這些數(shù)據(jù)科學(xué)家們的品行，保護(hù)顧客的隱私。

超級人工智能建構(gòu)未來

“大數(shù)據(jù)或許會在未來某個(gè)階段被定義為：對人類世界的真實(shí)還原，并且不斷地滿足我們的任何愿望。”

——懷進(jìn)鵬

火爆英劇《黑鏡》中有這樣一段引人深思的劇情：Martha的男友Ash是個(gè)社交媒體迷，幾乎天天泡在Twitter、Facebook這類網(wǎng)站上。糟糕的是，Ash不幸遇難。在Ash的葬禮上，Martha的朋友Sarah稱她們可以利用Ash生前在社會媒體上留下的“生活軌跡”還原一個(gè)Ash。

于是，通過對Ash生前留在互聯(lián)網(wǎng)世界的數(shù)據(jù)分析挖掘、統(tǒng)計(jì)比較和重新組織，進(jìn)而發(fā)現(xiàn)規(guī)律、構(gòu)建模型，最終實(shí)現(xiàn)準(zhǔn)確“預(yù)測”，Martha身邊出現(xiàn)了一款功能極其強(qiáng)大的“大數(shù)據(jù)＋云計(jì)算”的“再造人”，一個(gè)連思維人格都可以和因車禍而早逝的Ash“一模一樣”的機(jī)器人。“機(jī)器人Ash”可以像“真正Ash”那樣與活著的人進(jìn)行對話和對事物做出反應(yīng)甚至進(jìn)行學(xué)習(xí)。

未來，大數(shù)據(jù)是否會給我們帶來這樣顛覆性的改變呢？

在今年的百度大數(shù)據(jù)開放大會上，中國科學(xué)院院士、現(xiàn)任北京航空航天大學(xué)校長懷進(jìn)鵬的演講《超級人工智能：大數(shù)據(jù)的未來》似乎找到了未來的人工智能所能抵達(dá)的可能性。

要實(shí)現(xiàn)超級人工智能，懷進(jìn)鵬首先提到了“眾包”概念。這是由美國《連線》雜志的記者杰夫·豪（Jeff Howe）在 2006年6月提出的。杰夫·豪對“眾包”的定義是: “一個(gè)公司或機(jī)構(gòu)把過去由員工執(zhí)行的工作任務(wù)，以自由自愿的形式外包給非特定的（而且通常是大型的）大眾網(wǎng)絡(luò)的做法。眾包的任務(wù)通常由個(gè)人來承擔(dān)，但如果涉及到需要多人協(xié)作完成的任務(wù)，也有可能以依靠開源的個(gè)體生產(chǎn)的形式出現(xiàn)。”

懷進(jìn)鵬假設(shè)，目前我們可以做到眾包大數(shù)據(jù)軟件開發(fā)，那么大數(shù)據(jù)爬行機(jī)器可以根據(jù)讀取諸如新浪微博、百度指數(shù)、百度貼吧或是淘寶交易的數(shù)據(jù)，發(fā)現(xiàn)用戶的各種情緒以及需求的曲線，軟件開發(fā)者再根據(jù)這些數(shù)據(jù)的呈現(xiàn)開發(fā)出一套軟件的模型然后交給運(yùn)營商放置于云端，而用戶再參與進(jìn)入各種云端產(chǎn)生的軟件，在此種產(chǎn)生了各種行為，于是機(jī)器再根據(jù)這些用戶的行為，為軟件建模、規(guī)劃。

這是一種極為精尖交互式數(shù)據(jù)挖掘技術(shù)，前提是解決算法以及存儲問題，一切皆有可能。未來的大數(shù)據(jù)軟件將不會是一種固有形態(tài)，而是一個(gè)不斷根據(jù)數(shù)據(jù)自動(dòng)變化的超級生態(tài)，可能不是依靠產(chǎn)品經(jīng)理推動(dòng)，而是依靠算法工程師來推動(dòng)，讓用戶的需求自然暴露，然后為他們?nèi)?shí)現(xiàn)一些功能。

如果真的能夠?qū)崿F(xiàn)這樣的大數(shù)據(jù)軟件建構(gòu)，那么懷進(jìn)鵬認(rèn)為，目前對大數(shù)據(jù)的某種定義將被完全推翻。“大數(shù)據(jù)或許會在未來某個(gè)階段被定義為：對人類世界的真實(shí)還原，并且不斷地滿足我們的任何愿望，曾經(jīng)我們依靠它來決策一些事情，現(xiàn)在我們依靠它來直接抵達(dá)我們想要做的事情，我們所有的行為都已經(jīng)成為我們決策的一部分。”

整軍備戰(zhàn)中國大數(shù)據(jù)

——專訪英特爾公司數(shù)據(jù)中心事業(yè)部副總裁兼數(shù)據(jù)中心軟件部總經(jīng)理Boyd Davis

Cloudera公司聯(lián)合創(chuàng)始人、董事長、首席戰(zhàn)略官M(fèi)ike Olson

《國際金融報(bào)》：英特爾和Cloudera為何選擇對方成為自己的戰(zhàn)略合作伙伴？

Boyd Davis：我們致力于通過技術(shù)來實(shí)現(xiàn)和推動(dòng)經(jīng)濟(jì)的發(fā)展，Hadoop正是這樣一個(gè)非?；A(chǔ)的技術(shù)，它代表的是使用信息的一種全新方式，可用于推動(dòng)經(jīng)濟(jì)發(fā)展。英特爾通過和Cloudera合作，能夠參與到這個(gè)過程中，能夠讓Hadoop這樣一個(gè)開源的大數(shù)據(jù)軟件平臺，更好地與我們的芯片相契合，這符合我們的增長戰(zhàn)略。

Mike Olson：物聯(lián)網(wǎng)的時(shí)代數(shù)據(jù)正走向海量，容量比過去要大得多，我們需要有很強(qiáng)的能力來捕捉和分析這些數(shù)據(jù)。作為全球在這一領(lǐng)域中的領(lǐng)導(dǎo)者，英特爾和Cloudera的合作，將催生芯片方面和軟件方面的更多創(chuàng)新機(jī)會，將幫助更多企業(yè)用戶做好風(fēng)險(xiǎn)控制，做好數(shù)據(jù)分析，也就是能夠推動(dòng)整個(gè)大數(shù)據(jù)產(chǎn)業(yè)和應(yīng)用的發(fā)展。

《國際金融報(bào)》：中國目前的大數(shù)據(jù)產(chǎn)業(yè)和市場的吸引力主要在哪里？

Mike Olson：中國的醫(yī)療行業(yè)、智慧城市、智慧交通、金融服務(wù)、電信業(yè)等方面，已經(jīng)展示出了中國大數(shù)據(jù)市場的大量機(jī)會，我相信從更廣義的角度來看，物聯(lián)網(wǎng)市場也將是巨大的增長引擎，相關(guān)應(yīng)用可能涉及到更多行業(yè)和領(lǐng)域，比如運(yùn)輸業(yè)和制造業(yè)。相信物聯(lián)網(wǎng)將會帶來一個(gè)規(guī)模更大的增長效應(yīng)，或者能創(chuàng)造一個(gè)更大的市場機(jī)會。

《國際金融報(bào)》：大數(shù)據(jù)應(yīng)用在中國市場會遇到哪些獨(dú)特的挑戰(zhàn)？

Boyd Davis：在大數(shù)據(jù)應(yīng)用模式上，中國和世界其他地區(qū)還是比較類似的，差異主要在于中國的人口和經(jīng)濟(jì)、市場和企業(yè)的規(guī)模更大。因此，無論是企業(yè)還是政府的領(lǐng)導(dǎo)，都需要盡可能地發(fā)揮想象力、創(chuàng)造力，能夠更好地利用海量的數(shù)據(jù)，以不斷改進(jìn)、創(chuàng)造一些新的服務(wù)和體驗(yàn)。另外，相關(guān)法律法規(guī)和政策方面的挑戰(zhàn)也是客觀存在的。

《國際金融報(bào)》：我們應(yīng)該如何在大數(shù)據(jù)時(shí)代保護(hù)好用戶數(shù)據(jù)的安全？

Boyd Davis：對數(shù)據(jù)隱私或者個(gè)人信息的保護(hù)，對很多行業(yè)，特別是金融行業(yè)或醫(yī)療行業(yè)來說都是至關(guān)重要的。在谷歌、Facebook、雅虎剛剛開始開發(fā)大數(shù)據(jù)平臺的時(shí)候，安全性其實(shí)做的并不好。但在過去幾年里，數(shù)據(jù)安全保護(hù)的水平、隱私保護(hù)的水平提升得很快，相關(guān)的安全技術(shù)，在我們的金融服務(wù)及醫(yī)療行業(yè)的用戶那里也有了很多的部署和應(yīng)用。對于英特爾而言，我們有Rhino的開源項(xiàng)目，它的安全性和加密技術(shù)在整個(gè)平臺范圍內(nèi)做得非常好。對于Cloudera而言，也有專注于安全的Sentry項(xiàng)目，它也能對數(shù)據(jù)的保護(hù)進(jìn)行嚴(yán)格控制。現(xiàn)在我們的合作，將能實(shí)現(xiàn)更好的數(shù)據(jù)安全性和個(gè)人隱私保護(hù)能力。數(shù)據(jù)安全性在整個(gè)行業(yè)內(nèi)是需要所有廠商永遠(yuǎn)為之努力的目標(biāo)，我們的努力，已經(jīng)讓它相比過去五到六年改善了很多。