百度能知道我們在關(guān)注什么，淘寶能洞察我們喜歡什么，這是喜還是憂？大數(shù)據(jù)已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。《自然與科技》雜志最近刊文研判，人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

沒有最大，只有更大

維基百科這樣定義大數(shù)據(jù)(Big data)：大數(shù)據(jù)或巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大，以至于無法在合理時間內(nèi)通過人工截取、管理、處理并整理成為人類所能解讀的信息。

IBM團隊為了讓電腦戰(zhàn)勝國際象棋冠軍卡斯帕羅夫，收集了將近100年來的60萬盤高手的棋譜，這個就是大數(shù)據(jù)，人腦是無法記憶所有這些棋譜并加以有效利用的。1997年，國際象棋特級大師卡斯帕羅夫在《危險邊緣》(jeopardy)節(jié)目中首次輸給了IBM深藍電腦，成為轟動一時的新聞。電腦能戰(zhàn)勝人腦，秘訣就在于存儲在深藍電腦內(nèi)的棋譜大數(shù)據(jù)?？茖W(xué)家研制了人工智能博弈軟件，能從大量的棋譜中找出最合適的步驟，這是人腦所無法企及的。

有人把大數(shù)據(jù)的特征歸納為4V：Volume(量大)、Variety(多樣)、Velocity(高速)、Value(價值密度低)。讓我們來回顧一下去年的“雙十一”節(jié)，那天淘寶商城達成了1.88億筆交易，總交易額達到創(chuàng)紀錄的350.19億元。這些交易記錄就形成了那天瘋狂網(wǎng)購的大數(shù)據(jù)。

這樣的記錄首先體現(xiàn)在數(shù)據(jù)量巨大上。首先，我們知道一部高清電影的容量大約有1GB，而1024個GB就是一個TB，再1024個TB就是一個PB，而大數(shù)據(jù)往往達到PB數(shù)量級，可見數(shù)據(jù)量大得無法想象；其次，就是數(shù)據(jù)的多樣性，交易的品種、賣家的信息、買家的信息、快遞的信息、支付的信息，構(gòu)成了一個行業(yè)多樣化的數(shù)據(jù)鏈；第三，就是數(shù)據(jù)產(chǎn)生的速度極快，檢索結(jié)果的速度也要求快，要在幾百萬件商品中查找出一類商品，其檢索速度只需要1秒，這是傳統(tǒng)技術(shù)無法達到的。最后，需要說明的是，大數(shù)據(jù)的內(nèi)容雖然真實、完整地反映了客觀世界，但它的價值密度很低，如果不去研究挖掘，大數(shù)據(jù)是不會自動產(chǎn)生有用結(jié)果的。比如，在街景的海量監(jiān)控視頻中，犯罪分子留下的蹤影也許只有幾秒鐘。

大數(shù)據(jù)時代

英國的大數(shù)據(jù)權(quán)威專家維克托·邁爾·舍恩伯格(Viktor Mayer-Sch nberger)寫過一本書，書名就叫《大數(shù)據(jù)時代》，書中首次斷言人類已經(jīng)無可逆轉(zhuǎn)地跨入了大數(shù)據(jù)時代。據(jù)他估算，人類在2000年時大約只有1/4的信息實現(xiàn)了數(shù)字化，其他的3/4信息仍然以報紙、書籍、膠片、磁帶等形式存在，但到了2007年人類存儲的數(shù)據(jù)超過了300艾字節(jié)，相當于3000億GB的信息量。大數(shù)據(jù)時代在生活、工作和思維上給人們帶來了巨大變革。

首先，是數(shù)據(jù)的形式由原來的關(guān)系型數(shù)據(jù)(如電子表格形式)更多地表現(xiàn)為非關(guān)系型數(shù)據(jù)(如用戶評論、圖片等)；數(shù)據(jù)存儲方式也由原來集中式存儲變?yōu)榉植际酱鎯Γ笮蛿?shù)據(jù)不得不存儲在不同地方的存儲服務(wù)器中，通過網(wǎng)絡(luò)進行互聯(lián)訪問，構(gòu)成所謂的云存儲。

其次，是對數(shù)據(jù)處理的方式發(fā)生了根本變化，人們已無法只用一臺電腦處理數(shù)據(jù)，必須依賴網(wǎng)絡(luò)后面的云平臺，進行云計算，才能有效處理大數(shù)據(jù)。在對大數(shù)據(jù)處理上，我們可以看到三個有趣的變化：在小數(shù)據(jù)時代，人們限于獲取數(shù)據(jù)的困難，只能采用隨機抽樣的方式獲取數(shù)據(jù)樣本，然后根據(jù)樣本數(shù)據(jù)進行分析預(yù)測。一旦樣本出現(xiàn)偏差，那推導(dǎo)出的結(jié)果就會產(chǎn)生很大的誤差。

而在大數(shù)據(jù)時代，我們能輕易地得到數(shù)據(jù)全體，而不再需要樣本。譬如，阿里巴巴能得到所有買家的數(shù)據(jù)，它能輕易地統(tǒng)計“光棍節(jié)”那天的交易金額，算出哪個地區(qū)交易最活躍，可以通過媒體實時轉(zhuǎn)播交易盛況。這就是大數(shù)據(jù)的全數(shù)據(jù)模式，數(shù)據(jù)處理的范圍是全體，而不再是樣本。第二個變化，是不再一味地追求數(shù)據(jù)的精確性。由于大數(shù)據(jù)的多樣性、豐富性、動態(tài)性(在處理的同時，數(shù)據(jù)還在大量產(chǎn)生)，強調(diào)數(shù)據(jù)的精確性是做不到的，也沒有必要。紛繁的數(shù)據(jù)會混雜在一起，看起來好像全無用處，甚至有些還是錯誤的數(shù)據(jù)，但沒有關(guān)系，這就是大數(shù)據(jù)的本性，看似無關(guān)無用的一堆數(shù)據(jù)卻蘊含著無限商機。

想一想，當人們在百度上比以往更多地搜索“感冒”、“發(fā)熱”等關(guān)鍵字時，往往意味著某地將要爆發(fā)流感，甚至還能預(yù)測是什么流感，這就是大數(shù)據(jù)的威力。第三個變化，是關(guān)注數(shù)據(jù)之間的相關(guān)性，而不是因果關(guān)系。比方說，通過挖掘天貓商城的交易數(shù)據(jù)，發(fā)現(xiàn)購買德龍咖啡機的買家，會有很高的比例購買寵物糧食，那商家會不失時機地推薦你購買皇家狗糧?？Х葯C與狗糧沒有因果關(guān)系，但卻有內(nèi)在的相關(guān)性。數(shù)據(jù)之間的相關(guān)性，就是大數(shù)據(jù)所蘊含的價值，也是商家追求的商機。大數(shù)據(jù)的相關(guān)性，告訴我們在面對錯綜繁雜的大數(shù)據(jù)時，我們不需要去研究“為什么”，只要知道“是什么”就足夠了。

最后，大數(shù)據(jù)時代將催生一個數(shù)據(jù)挖掘行業(yè)，出現(xiàn)一批數(shù)字科學(xué)家。簡單地說，數(shù)據(jù)挖掘就是從收集的數(shù)據(jù)中用一定的算法分析計算，得到我們所需要信息和知識的過程。傳統(tǒng)的統(tǒng)計分析是將數(shù)據(jù)按已知的類別進行分類統(tǒng)計，然后尋找有價值的數(shù)據(jù)。如果給定的分類是不合理的或是錯誤的，那統(tǒng)計出來的結(jié)果就不會產(chǎn)生最好的效果。而數(shù)據(jù)挖掘采用的是一種叫作“聚類”的方法，它事先不需要人工分類，而是由算法分析數(shù)據(jù)的屬性，將數(shù)據(jù)自動聚集成“類”，使“類”間的相似性盡量小，“類”內(nèi)的相似性盡量大。比方說，保險業(yè)務(wù)涵蓋各類人群、各種職業(yè)，所以設(shè)計某個險種潛在的客戶目標群，需要對大量數(shù)據(jù)進行挖掘，才能找出不同的客戶群和重要系數(shù)，這不是事先人為設(shè)定的。要“讓數(shù)據(jù)自己說話”，這樣才能因地制宜地制定營銷計劃，科學(xué)測算盈虧平衡，為保險企業(yè)創(chuàng)造更多利潤。

[page]

大數(shù)據(jù)的紅利

有人斷言，數(shù)據(jù)將成為人類的重要資產(chǎn)，成為比石油和黃金更為重要的可重復(fù)開發(fā)使用的資源。筆者也認同這個觀點。最近，媒體報道“三馬”聯(lián)手買保險新聞，這是一個攢取大數(shù)據(jù)紅利的例子。“三馬”利用阿里巴巴、騰訊和平安保險三家公司掌握大數(shù)據(jù)的優(yōu)勢，成立了網(wǎng)絡(luò)保險公司——眾安在線，這是具里程碑的互聯(lián)網(wǎng)金融創(chuàng)新，旨在利用大數(shù)據(jù)對保險消費者進行準確定位和精準營銷，瞄準的主要是80后、90后消費者?？梢姡么髷?shù)據(jù)技術(shù)將是未來各保險公司搶奪市場非常關(guān)鍵的一環(huán)。

另一個有益的應(yīng)用將是利用大數(shù)據(jù)來防范電信詐騙。電信詐騙是當今社會的一大頑疾，如果電信、銀行、互聯(lián)網(wǎng)、公安等各方擯棄利益糾結(jié)，共享各自的大數(shù)據(jù)，那么最大限度地杜絕電信詐騙是完全可能的。我們只要分析挖掘各方的大數(shù)據(jù)，找出電信詐騙相關(guān)性的數(shù)據(jù)因數(shù)，然后建立動態(tài)監(jiān)控模型，那么一旦相關(guān)數(shù)據(jù)出現(xiàn)，公安就能根據(jù)數(shù)據(jù)鏈快速找到詐騙犯。

炒股的高手都想賺取大數(shù)據(jù)概念股的紅利。大數(shù)據(jù)的紅利在哪里？存在于大數(shù)據(jù)的擁有者、大數(shù)據(jù)技術(shù)公司和大數(shù)據(jù)價值挖掘者(也就是提供思維的數(shù)據(jù)科學(xué)家)。馬云說過：未來的世界是數(shù)據(jù)的世界。大數(shù)據(jù)時代已經(jīng)撼動了世界的方方面面，從工業(yè)、農(nóng)業(yè)、商業(yè)、科技到政府、醫(yī)療、教育、文化以及社會的其他各個領(lǐng)域，人們的生活日益被數(shù)據(jù)所改變?？梢哉f，大數(shù)據(jù)是一種比石油、黃金還要珍貴的資源，誰掌握了足夠多的數(shù)據(jù)，誰就搶占了制高點，增強了競爭力，也就掌握了未來。