大數(shù)據(jù):沒有最大,只有更大

責(zé)任編輯:editor004

2014-02-21 11:21:35

摘自:溫州網(wǎng)

《自然與科技》雜志最近刊文研判,人們對于海量數(shù)據(jù)的挖掘和運用,預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來??梢哉f,大數(shù)據(jù)是一種比石油、黃金還要珍貴的資源,誰掌握了足夠多的數(shù)據(jù),誰就搶占了制高點,增強了競爭力,也就掌握了未來

百度能知道我們在關(guān)注什么,淘寶能洞察我們喜歡什么,這是喜還是憂?大數(shù)據(jù)已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。《自然與科技》雜志最近刊文研判,人們對于海量數(shù)據(jù)的挖掘和運用,預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

沒有最大,只有更大

維基百科這樣定義大數(shù)據(jù)(Big data):大數(shù)據(jù)或巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料,指的是所涉及的數(shù)據(jù)量規(guī)模巨大,以至于無法在合理時間內(nèi)通過人工截取、管理、處理并整理成為人類所能解讀的信息。

IBM團隊為了讓電腦戰(zhàn)勝國際象棋冠軍卡斯帕羅夫,收集了將近100年來的60萬盤高手的棋譜,這個就是大數(shù)據(jù),人腦是無法記憶所有這些棋譜并加以有效利用的。1997年,國際象棋特級大師卡斯帕羅夫在《危險邊緣》(jeopardy)節(jié)目中首次輸給了IBM深藍電腦,成為轟動一時的新聞。電腦能戰(zhàn)勝人腦,秘訣就在于存儲在深藍電腦內(nèi)的棋譜大數(shù)據(jù)??茖W(xué)家研制了人工智能博弈軟件,能從大量的棋譜中找出最合適的步驟,這是人腦所無法企及的。

有人把大數(shù)據(jù)的特征歸納為4V:Volume(量大)、Variety(多樣)、Velocity(高速)、Value(價值密度低)。讓我們來回顧一下去年的“雙十一”節(jié),那天淘寶商城達成了1.88億筆交易,總交易額達到創(chuàng)紀錄的350.19億元。這些交易記錄就形成了那天瘋狂網(wǎng)購的大數(shù)據(jù)。

這樣的記錄首先體現(xiàn)在數(shù)據(jù)量巨大上。首先,我們知道一部高清電影的容量大約有1GB,而1024個GB就是一個TB,再1024個TB就是一個PB,而大數(shù)據(jù)往往達到PB數(shù)量級,可見數(shù)據(jù)量大得無法想象;其次,就是數(shù)據(jù)的多樣性,交易的品種、賣家的信息、買家的信息、快遞的信息、支付的信息,構(gòu)成了一個行業(yè)多樣化的數(shù)據(jù)鏈;第三,就是數(shù)據(jù)產(chǎn)生的速度極快,檢索結(jié)果的速度也要求快,要在幾百萬件商品中查找出一類商品,其檢索速度只需要1秒,這是傳統(tǒng)技術(shù)無法達到的。最后,需要說明的是,大數(shù)據(jù)的內(nèi)容雖然真實、完整地反映了客觀世界,但它的價值密度很低,如果不去研究挖掘,大數(shù)據(jù)是不會自動產(chǎn)生有用結(jié)果的。比如,在街景的海量監(jiān)控視頻中,犯罪分子留下的蹤影也許只有幾秒鐘。

大數(shù)據(jù)時代

英國的大數(shù)據(jù)權(quán)威專家維克托·邁爾·舍恩伯格(Viktor Mayer-Sch nberger)寫過一本書,書名就叫《大數(shù)據(jù)時代》,書中首次斷言人類已經(jīng)無可逆轉(zhuǎn)地跨入了大數(shù)據(jù)時代。據(jù)他估算,人類在2000年時大約只有1/4的信息實現(xiàn)了數(shù)字化,其他的3/4信息仍然以報紙、書籍、膠片、磁帶等形式存在,但到了2007年人類存儲的數(shù)據(jù)超過了300艾字節(jié),相當于3000億GB的信息量。大數(shù)據(jù)時代在生活、工作和思維上給人們帶來了巨大變革。

首先,是數(shù)據(jù)的形式由原來的關(guān)系型數(shù)據(jù)(如電子表格形式)更多地表現(xiàn)為非關(guān)系型數(shù)據(jù)(如用戶評論、圖片等);數(shù)據(jù)存儲方式也由原來集中式存儲變?yōu)榉植际酱鎯Γ笮蛿?shù)據(jù)不得不存儲在不同地方的存儲服務(wù)器中,通過網(wǎng)絡(luò)進行互聯(lián)訪問,構(gòu)成所謂的云存儲。

其次,是對數(shù)據(jù)處理的方式發(fā)生了根本變化,人們已無法只用一臺電腦處理數(shù)據(jù),必須依賴網(wǎng)絡(luò)后面的云平臺,進行云計算,才能有效處理大數(shù)據(jù)。在對大數(shù)據(jù)處理上,我們可以看到三個有趣的變化:在小數(shù)據(jù)時代,人們限于獲取數(shù)據(jù)的困難,只能采用隨機抽樣的方式獲取數(shù)據(jù)樣本,然后根據(jù)樣本數(shù)據(jù)進行分析預(yù)測。一旦樣本出現(xiàn)偏差,那推導(dǎo)出的結(jié)果就會產(chǎn)生很大的誤差。

而在大數(shù)據(jù)時代,我們能輕易地得到數(shù)據(jù)全體,而不再需要樣本。譬如,阿里巴巴能得到所有買家的數(shù)據(jù),它能輕易地統(tǒng)計“光棍節(jié)”那天的交易金額,算出哪個地區(qū)交易最活躍,可以通過媒體實時轉(zhuǎn)播交易盛況。這就是大數(shù)據(jù)的全數(shù)據(jù)模式,數(shù)據(jù)處理的范圍是全體,而不再是樣本。第二個變化,是不再一味地追求數(shù)據(jù)的精確性。由于大數(shù)據(jù)的多樣性、豐富性、動態(tài)性(在處理的同時,數(shù)據(jù)還在大量產(chǎn)生),強調(diào)數(shù)據(jù)的精確性是做不到的,也沒有必要。紛繁的數(shù)據(jù)會混雜在一起,看起來好像全無用處,甚至有些還是錯誤的數(shù)據(jù),但沒有關(guān)系,這就是大數(shù)據(jù)的本性,看似無關(guān)無用的一堆數(shù)據(jù)卻蘊含著無限商機。

想一想,當人們在百度上比以往更多地搜索“感冒”、“發(fā)熱”等關(guān)鍵字時,往往意味著某地將要爆發(fā)流感,甚至還能預(yù)測是什么流感,這就是大數(shù)據(jù)的威力。第三個變化,是關(guān)注數(shù)據(jù)之間的相關(guān)性,而不是因果關(guān)系。比方說,通過挖掘天貓商城的交易數(shù)據(jù),發(fā)現(xiàn)購買德龍咖啡機的買家,會有很高的比例購買寵物糧食,那商家會不失時機地推薦你購買皇家狗糧??Х葯C與狗糧沒有因果關(guān)系,但卻有內(nèi)在的相關(guān)性。數(shù)據(jù)之間的相關(guān)性,就是大數(shù)據(jù)所蘊含的價值,也是商家追求的商機。大數(shù)據(jù)的相關(guān)性,告訴我們在面對錯綜繁雜的大數(shù)據(jù)時,我們不需要去研究“為什么”,只要知道“是什么”就足夠了。

最后,大數(shù)據(jù)時代將催生一個數(shù)據(jù)挖掘行業(yè),出現(xiàn)一批數(shù)字科學(xué)家。簡單地說,數(shù)據(jù)挖掘就是從收集的數(shù)據(jù)中用一定的算法分析計算,得到我們所需要信息和知識的過程。傳統(tǒng)的統(tǒng)計分析是將數(shù)據(jù)按已知的類別進行分類統(tǒng)計,然后尋找有價值的數(shù)據(jù)。如果給定的分類是不合理的或是錯誤的,那統(tǒng)計出來的結(jié)果就不會產(chǎn)生最好的效果。而數(shù)據(jù)挖掘采用的是一種叫作“聚類”的方法,它事先不需要人工分類,而是由算法分析數(shù)據(jù)的屬性,將數(shù)據(jù)自動聚集成“類”,使“類”間的相似性盡量小,“類”內(nèi)的相似性盡量大。比方說,保險業(yè)務(wù)涵蓋各類人群、各種職業(yè),所以設(shè)計某個險種潛在的客戶目標群,需要對大量數(shù)據(jù)進行挖掘,才能找出不同的客戶群和重要系數(shù),這不是事先人為設(shè)定的。要“讓數(shù)據(jù)自己說話”,這樣才能因地制宜地制定營銷計劃,科學(xué)測算盈虧平衡,為保險企業(yè)創(chuàng)造更多利潤。

[page]

大數(shù)據(jù)的紅利

有人斷言,數(shù)據(jù)將成為人類的重要資產(chǎn),成為比石油和黃金更為重要的可重復(fù)開發(fā)使用的資源。筆者也認同這個觀點。最近,媒體報道“三馬”聯(lián)手買保險新聞,這是一個攢取大數(shù)據(jù)紅利的例子。“三馬”利用阿里巴巴、騰訊和平安保險三家公司掌握大數(shù)據(jù)的優(yōu)勢,成立了網(wǎng)絡(luò)保險公司——眾安在線,這是具里程碑的互聯(lián)網(wǎng)金融創(chuàng)新,旨在利用大數(shù)據(jù)對保險消費者進行準確定位和精準營銷,瞄準的主要是80后、90后消費者??梢姡么髷?shù)據(jù)技術(shù)將是未來各保險公司搶奪市場非常關(guān)鍵的一環(huán)。

另一個有益的應(yīng)用將是利用大數(shù)據(jù)來防范電信詐騙。電信詐騙是當今社會的一大頑疾,如果電信、銀行、互聯(lián)網(wǎng)、公安等各方擯棄利益糾結(jié),共享各自的大數(shù)據(jù),那么最大限度地杜絕電信詐騙是完全可能的。我們只要分析挖掘各方的大數(shù)據(jù),找出電信詐騙相關(guān)性的數(shù)據(jù)因數(shù),然后建立動態(tài)監(jiān)控模型,那么一旦相關(guān)數(shù)據(jù)出現(xiàn),公安就能根據(jù)數(shù)據(jù)鏈快速找到詐騙犯。

炒股的高手都想賺取大數(shù)據(jù)概念股的紅利。大數(shù)據(jù)的紅利在哪里?存在于大數(shù)據(jù)的擁有者、大數(shù)據(jù)技術(shù)公司和大數(shù)據(jù)價值挖掘者(也就是提供思維的數(shù)據(jù)科學(xué)家)。馬云說過:未來的世界是數(shù)據(jù)的世界。大數(shù)據(jù)時代已經(jīng)撼動了世界的方方面面,從工業(yè)、農(nóng)業(yè)、商業(yè)、科技到政府、醫(yī)療、教育、文化以及社會的其他各個領(lǐng)域,人們的生活日益被數(shù)據(jù)所改變??梢哉f,大數(shù)據(jù)是一種比石油、黃金還要珍貴的資源,誰掌握了足夠多的數(shù)據(jù),誰就搶占了制高點,增強了競爭力,也就掌握了未來。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號