當(dāng)我們知道了大數(shù)據(jù)的特性,也找到了相關(guān)性,接下來就是靠著它創(chuàng)造出價(jià)值來。
“什么是大數(shù)據(jù)?”、“跟我有什么關(guān)系?”很多人第一次聽到大數(shù)據(jù),心中一定會(huì)有這樣的疑問。
據(jù)《30雜志》報(bào)道,麥爾 荀伯格在千余名想了解未來趨勢(shì)的觀眾面前,做了一場(chǎng)精彩易懂的演說,告訴了企業(yè)及民眾,什么是大數(shù)據(jù)。
大數(shù)據(jù)找出相關(guān)性
2009年,全球出現(xiàn)一種新的流感病毒H1N1,當(dāng)時(shí)美國(guó)也無法幸免,疾病管制局(CDC)要求第一線的醫(yī)師遇到H1N1流感病例,必須立刻通報(bào)。即使如此,通報(bào)速度仍總是慢一步,會(huì)晚1到2個(gè)星期。這樣的時(shí)效讓疾管局無法掌握真實(shí)情況,對(duì)癥下藥。
當(dāng)時(shí)有幾位Google 工程師在著名的《自然》科學(xué)期刊中發(fā)表了一篇論文。他們透過美國(guó)最常使用的前5000萬個(gè)搜尋關(guān)鍵字,再與疾管局2003-2008年間的流感傳播資料加以比對(duì),用高達(dá)4.5億種不同的數(shù)學(xué)模型,找出這些字出現(xiàn)的頻率、時(shí)間及地點(diǎn),有沒有統(tǒng)計(jì)上的相關(guān)性(correlation)。最后被他們挖到寶了,這套軟件找出了45個(gè)流感關(guān)鍵字眼,放進(jìn)數(shù)學(xué)模型之后,預(yù)測(cè)結(jié)果與官方公布的真實(shí)資料吻合,有強(qiáng)烈的相關(guān)性。
Google 運(yùn)用這套數(shù)學(xué)模型,再一次精準(zhǔn)地掌握了流感發(fā)生的高峰及地區(qū),讓防疫工作同步進(jìn)行,不落后。
再說另一例子,天文學(xué)來說,美國(guó)太空總署執(zhí)行一項(xiàng)叫史隆數(shù)碼巡天計(jì)劃(Sloan Digital Sky Survey),從2000年開始,他們用位于美國(guó)新墨西哥州的天文望遠(yuǎn)鏡去收集資料,計(jì)劃開始不過幾星期,收到的天文資料量就已超過了過去所有天文學(xué)歷史的總和。到了2010年,這個(gè)計(jì)劃收到了140TB 的資料量。但是接續(xù)的新計(jì)劃,預(yù)計(jì)2016年登場(chǎng),未來的巡天望遠(yuǎn)鏡在5天內(nèi),就可收到這些資料量。
荀伯格說,當(dāng)資料進(jìn)入天文數(shù)字時(shí)代,荀伯格提醒:到底大數(shù)據(jù)有多大?其實(shí)不是那么重要,重點(diǎn)是在放大,擴(kuò)大資料量等級(jí),就能做出少量資料做不到的事。
舉例來說,畫一張馬的圖畫,不是太難的事,但如果畫了很多張馬的圖畫,再以每秒24幀來呈現(xiàn)這些圖畫,就成了動(dòng)畫。這里要強(qiáng)調(diào)的是“量變”產(chǎn)生了“質(zhì)變”,巨量就是這個(gè)道理,量的不同,也改變了本質(zhì)。
what比why重要
量增加了,就出現(xiàn)另一項(xiàng)大數(shù)據(jù)的特色:亂(messy)。巨量資料的內(nèi)容常是混亂不齊,質(zhì)量不一。這是因?yàn)椋蘖抠Y料的收集過程中,它只要一個(gè)大方向即可,不需要講究到一寸、一分。“這并不是說我們放棄了精準(zhǔn)這件事,只是不再將精準(zhǔn)奉為圭臬,”荀伯格說。
舉例來說,我們要測(cè)量某個(gè)葡萄園的溫度,如果整片葡萄園只有一支溫度計(jì),那這支溫度計(jì)就要十分精準(zhǔn),不能故障,但也意味著它會(huì)很貴。換句話說,就是不能有任何雜亂或出錯(cuò);相反的,如果我們今天在葡萄園里放了100支溫度計(jì)去測(cè)溫度,就可以用便宜一些,簡(jiǎn)單的溫度計(jì)測(cè)出很精準(zhǔn)的溫度。
100支溫度計(jì)代表的是量大,盡管其中幾支可能不那么精準(zhǔn),但卻可以收集到大量數(shù)據(jù)。比起只靠一支溫度計(jì)來說,更可看到全貌,代表全體。那此時(shí),一點(diǎn)雜亂就顯得微不足道。
重點(diǎn)又來了,荀伯格忽然站起來向所有在場(chǎng)的觀眾說,大數(shù)據(jù)時(shí)代,資料數(shù)量比資料質(zhì)量更重要。更不要為了一點(diǎn)點(diǎn)信息的偏差而影響了整體分析,想處理掉不精準(zhǔn)的信息,成本會(huì)很高,也沒有必要!
另一個(gè)有趣的例子是沃爾瑪(Walmart),他們從龐大的交易記錄上發(fā)現(xiàn),在颶風(fēng)來襲前,銷量大增的不只是手電筒,還有一種美國(guó)小甜點(diǎn) Top-Tarts,店家會(huì)在每次颶風(fēng)來臨前,把一盒一盒的 Top-Tarts放在風(fēng)災(zāi)的必需品架上,方便急忙的顧客一次滿足,“特別是草莓口味的,賣得最好。”
請(qǐng)注意,這里Walmart不去弄清楚為什么颶風(fēng)時(shí)人們特別想吃Top-Tarts,而是把這個(gè)相關(guān)性找出來,直接采取更有利的營(yíng)銷動(dòng)作。
荀伯格特別強(qiáng)調(diào),大數(shù)據(jù)時(shí)代,what比why重要。
再舉一個(gè)例子,發(fā)生在他朋友,也是大數(shù)據(jù)專家,任教于華盛頓大學(xué)的教授伊茲奧尼(Oren Etzioni)身上。2003 年時(shí)他想從西雅圖塔機(jī)到洛杉磯參加弟弟的婚禮,他想愈早訂票愈能買到便宜,幾個(gè)月前他就買好了機(jī)票,也覺得買得很便宜。沒想到他在航程中,出于好奇問了隔壁乘客買多少錢,何時(shí)買的。結(jié)果,一問之下,都回答最近才買,且都比他買得便宜,他十分生氣。
下了飛機(jī)后,他決定去好好研究一下購(gòu)買機(jī)票這件事。他發(fā)現(xiàn),如果平均票價(jià)呈現(xiàn)下跌,買票就可以慢慢來;如果價(jià)格上揚(yáng)中,你就要先訂票,以免它水漲船高。
伊茲奧尼花了41天的時(shí)間去比對(duì)一旅游網(wǎng)站中超過12000筆的票價(jià)資料,他建立了一個(gè)模型,讓模擬的消費(fèi)者都省下了大筆的機(jī)票錢。在這模型里,消費(fèi)者不懂“為什么(why)”,只知道“正是如此(what)”,消費(fèi)者要決定現(xiàn)在是“買或是不買”。
后來這套模型發(fā)展出創(chuàng)業(yè)計(jì)劃,他創(chuàng)了一個(gè)Farecast網(wǎng)站,消費(fèi)者可以做出最佳判斷,何時(shí)該買,還是不買。
大數(shù)據(jù)與價(jià)值
當(dāng)我們知道了大數(shù)據(jù)的特性,也找到了相關(guān)性,接下來就是靠著它創(chuàng)造出價(jià)值來。
美國(guó)西雅圖有一家專門收集車輛實(shí)時(shí)定位的資料公司Inrix,它的資料來自上億臺(tái)的車輛。同時(shí),它也推出手機(jī) App服務(wù),通過提供服務(wù)換取特定的司機(jī)資料,包括他們?cè)_車去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金,該基金根據(jù)大型零售商場(chǎng)附近的路況推測(cè)業(yè)績(jī),在零售商公布季報(bào)前,搶先決定該買入或賣出。因?yàn)檐嚦本褪清X潮。這就是價(jià)值。
英國(guó)的羅爾斯羅伊斯是著名的飛機(jī)引擎制造商,它通過在引擎上安裝了一個(gè)監(jiān)控器,以掌控引擎是否正常運(yùn)轉(zhuǎn)。結(jié)果隨著他們收集到的資料中發(fā)現(xiàn),當(dāng)引擎出現(xiàn)哪些信號(hào)異常,引擎可能會(huì)發(fā)生問題,這個(gè)監(jiān)控變成了預(yù)測(cè),大大減少飛安事故。羅爾斯羅伊斯從過去單單的制造引擎公司,轉(zhuǎn)型為服務(wù)咨詢,他們讓數(shù)據(jù)產(chǎn)生出價(jià)值。
荀伯格說了許多大數(shù)據(jù)的美好,但他強(qiáng)調(diào),大數(shù)據(jù)有其黑暗面:隱私當(dāng)然是一個(gè)該關(guān)注的焦點(diǎn),但他強(qiáng)調(diào),更可怕的是各種算法,去預(yù)測(cè)是不是會(huì)患心臟???或你是否會(huì)犯罪等。有時(shí),依靠大數(shù)據(jù)做出的演算與預(yù)測(cè),如果與自由意志不符時(shí),孰輕孰重?
同時(shí),我們也擔(dān)心,愈來愈多的企業(yè)會(huì)掌握更多資料,但如此龐大的資料為他們所收集,拿去做了什么?什么用途?不一定能受到監(jiān)督與管理,這是重要議題。
“巨量資料是為人類所掌控,而不是被巨量資料所掌控,”這是荀伯格最后的提醒。