對(duì)于大數(shù)據(jù)的四個(gè)特性我們當(dāng)然了解，相關(guān)性也找到了，接下來(lái)就是如何利用大數(shù)據(jù)創(chuàng)造出價(jià)值。“大數(shù)據(jù)是什么”，“大數(shù)據(jù)跟我有什么關(guān)系”，這是很多人第一次聽(tīng)到大數(shù)據(jù)心中所產(chǎn)生的疑問(wèn)。

據(jù)《30雜志》報(bào)道，麥爾·荀伯格在千余名想了解未來(lái)趨勢(shì)的觀眾面前，做了一場(chǎng)精彩易懂的演說(shuō)，告訴了企業(yè)及民眾，什么是大數(shù)據(jù)。

大數(shù)據(jù)找出相關(guān)性

2009年，全球出現(xiàn)一種新的流感病毒H1N1，當(dāng)時(shí)美國(guó)也無(wú)法幸免，疾病管制局(CDC)要求第一線的醫(yī)師遇到H1N1流感病例，必須立刻通報(bào)。即使如此，通報(bào)速度仍總是慢一步，會(huì)晚1到2個(gè)星期。這樣的時(shí)效讓疾管局無(wú)法掌握真實(shí)情況，對(duì)癥下藥。

當(dāng)時(shí)有幾位Google 工程師在著名的《自然》科學(xué)期刊中發(fā)表了一篇論文。他們透過(guò)美國(guó)最常使用的前5000萬(wàn)個(gè)搜尋關(guān)鍵字，再與疾管局2003-2008年間的流感傳播資料加以比對(duì)，用高達(dá)4.5億種不同的數(shù)學(xué)模型，找出這些字出現(xiàn)的頻率、時(shí)間及地點(diǎn)，有沒(méi)有統(tǒng)計(jì)上的相關(guān)性(correlation)。最后被他們挖到寶了，這套軟件找出了45個(gè)流感關(guān)鍵字眼，放進(jìn)數(shù)學(xué)模型之后，預(yù)測(cè)結(jié)果與官方公布的真實(shí)資料吻合，有強(qiáng)烈的相關(guān)性。

Google 運(yùn)用這套數(shù)學(xué)模型，再一次精準(zhǔn)地掌握了流感發(fā)生的高峰及地區(qū)，讓防疫工作同步進(jìn)行，不落后。

再說(shuō)另一例子，天文學(xué)來(lái)說(shuō)，美國(guó)太空總署執(zhí)行一項(xiàng)叫史隆數(shù)碼巡天計(jì)劃(Sloan Digital Sky Survey)，從2000年開(kāi)始，他們用位于美國(guó)新墨西哥州的天文望遠(yuǎn)鏡去收集資料，計(jì)劃開(kāi)始不過(guò)幾星期，收到的天文資料量就已超過(guò)了過(guò)去所有天文學(xué)歷史的總和。到了2010年，這個(gè)計(jì)劃收到了140TB 的資料量。但是接續(xù)的新計(jì)劃，預(yù)計(jì)2016年登場(chǎng)，未來(lái)的巡天望遠(yuǎn)鏡在5天內(nèi)，就可收到這些資料量。

荀伯格說(shuō)，當(dāng)資料進(jìn)入天文數(shù)字時(shí)代，荀伯格提醒：到底大數(shù)據(jù)有多大？其實(shí)不是那么重要，重點(diǎn)是在放大，擴(kuò)大資料量等級(jí)，就能做出少量資料做不到的事。

舉例來(lái)說(shuō)，畫(huà)一張馬的圖畫(huà)，不是太難的事，但如果畫(huà)了很多張馬的圖畫(huà)，再以每秒24幀來(lái)呈現(xiàn)這些圖畫(huà)，就成了動(dòng)畫(huà)。這里要強(qiáng)調(diào)的是“量變”產(chǎn)生了“質(zhì)變”，巨量就是這個(gè)道理，量的不同，也改變了本質(zhì)。

what比why重要

量增加了，就出現(xiàn)另一項(xiàng)大數(shù)據(jù)的特色：亂(messy)。巨量資料的內(nèi)容常是混亂不齊，質(zhì)量不一。這是因?yàn)?，巨量資料的收集過(guò)程中，它只要一個(gè)大方向即可，不需要講究到一寸、一分。“這并不是說(shuō)我們放棄了精準(zhǔn)這件事，只是不再將精準(zhǔn)奉為圭臬，”荀伯格說(shuō)。

舉例來(lái)說(shuō)，我們要測(cè)量某個(gè)葡萄園的溫度，如果整片葡萄園只有一支溫度計(jì)，那這支溫度計(jì)就要十分精準(zhǔn)，不能故障，但也意味著它會(huì)很貴。換句話說(shuō)，就是不能有任何雜亂或出錯(cuò)；相反的，如果我們今天在葡萄園里放了100支溫度計(jì)去測(cè)溫度，就可以用便宜一些，簡(jiǎn)單的溫度計(jì)測(cè)出很精準(zhǔn)的溫度。

100支溫度計(jì)代表的是量大，盡管其中幾支可能不那么精準(zhǔn)，但卻可以收集到大量數(shù)據(jù)。比起只靠一支溫度計(jì)來(lái)說(shuō)，更可看到全貌，代表全體。那此時(shí)，一點(diǎn)雜亂就顯得微不足道。

重點(diǎn)又來(lái)了，荀伯格忽然站起來(lái)向所有在場(chǎng)的觀眾說(shuō)，大數(shù)據(jù)時(shí)代，資料數(shù)量比資料質(zhì)量更重要。更不要為了一點(diǎn)點(diǎn)信息的偏差而影響了整體分析，想處理掉不精準(zhǔn)的信息，成本會(huì)很高，也沒(méi)有必要！

另一個(gè)有趣的例子是沃爾瑪(73.54, 0.00, 0.00%)(Walmart)，他們從龐大的交易記錄上發(fā)現(xiàn)，在颶風(fēng)來(lái)襲前，銷量大增的不只是手電筒，還有一種美國(guó)小甜點(diǎn) Top-Tarts，店家會(huì)在每次颶風(fēng)來(lái)臨前，把一盒一盒的 Top-Tarts放在風(fēng)災(zāi)的必需品架上，方便急忙的顧客一次滿足，“特別是草莓口味的，賣(mài)得最好。”

請(qǐng)注意，這里Walmart不去弄清楚為什么颶風(fēng)時(shí)人們特別想吃Top-Tarts，而是把這個(gè)相關(guān)性找出來(lái)，直接采取更有利的營(yíng)銷動(dòng)作。

荀伯格特別強(qiáng)調(diào)，大數(shù)據(jù)時(shí)代，what比why重要。

再舉一個(gè)例子，發(fā)生在他朋友，也是大數(shù)據(jù)專家，任教于華盛頓大學(xué)的教授伊茲奧尼(Oren Etzioni)身上。2003 年時(shí)他想從西雅圖塔機(jī)到洛杉磯參加弟弟的婚禮，他想愈早訂票愈能買(mǎi)到便宜，幾個(gè)月前他就買(mǎi)好了機(jī)票，也覺(jué)得買(mǎi)得很便宜。沒(méi)想到他在航程中，出于好奇問(wèn)了隔壁乘客買(mǎi)多少錢(qián)，何時(shí)買(mǎi)的。結(jié)果，一問(wèn)之下，都回答最近才買(mǎi)，且都比他買(mǎi)得便宜，他十分生氣。

下了飛機(jī)后，他決定去好好研究一下購(gòu)買(mǎi)機(jī)票這件事。他發(fā)現(xiàn)，如果平均票價(jià)呈現(xiàn)下跌，買(mǎi)票就可以慢慢來(lái)；如果價(jià)格上揚(yáng)中，你就要先訂票，以免它水漲船高。

伊茲奧尼花了41天的時(shí)間去比對(duì)一旅游網(wǎng)站中超過(guò)12000筆的票價(jià)資料，他建立了一個(gè)模型，讓模擬的消費(fèi)者都省下了大筆的機(jī)票錢(qián)。在這模型里，消費(fèi)者不懂“為什么(why)”，只知道“正是如此(what)”，消費(fèi)者要決定現(xiàn)在是“買(mǎi)或是不買(mǎi)”。

后來(lái)這套模型發(fā)展出創(chuàng)業(yè)計(jì)劃，他創(chuàng)了一個(gè)Farecast網(wǎng)站，消費(fèi)者可以做出最佳判斷，何時(shí)該買(mǎi)，還是不買(mǎi)。

大數(shù)據(jù)與價(jià)值

當(dāng)我們知道了大數(shù)據(jù)的特性，也找到了相關(guān)性，接下來(lái)就是靠著它創(chuàng)造出價(jià)值來(lái)。

美國(guó)西雅圖有一家專門(mén)收集車(chē)輛實(shí)時(shí)定位的資料公司Inrix，它的資料來(lái)自上億臺(tái)的車(chē)輛。同時(shí)，它也推出手機(jī) App服務(wù)，通過(guò)提供服務(wù)換取特定的司機(jī)資料，包括他們?cè)_(kāi)車(chē)去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金，該基金根據(jù)大型零售商場(chǎng)附近的路況推測(cè)業(yè)績(jī)，在零售商公布季報(bào)前，搶先決定該買(mǎi)入或賣(mài)出。因?yàn)檐?chē)潮就是錢(qián)潮。這就是價(jià)值。

英國(guó)的羅爾斯羅伊斯是著名的飛機(jī)引擎制造商，它通過(guò)在引擎上安裝了一個(gè)監(jiān)控器，以掌控引擎是否正常運(yùn)轉(zhuǎn)。結(jié)果隨著他們收集到的資料中發(fā)現(xiàn)，當(dāng)引擎出現(xiàn)哪些信號(hào)異常，引擎可能會(huì)發(fā)生問(wèn)題，這個(gè)監(jiān)控變成了預(yù)測(cè)，大大減少飛安事故。羅爾斯羅伊斯從過(guò)去單單的制造引擎公司，轉(zhuǎn)型為服務(wù)咨詢，他們讓數(shù)據(jù)產(chǎn)生出價(jià)值。

荀伯格說(shuō)了許多大數(shù)據(jù)的美好，但他強(qiáng)調(diào)，大數(shù)據(jù)有其黑暗面：隱私當(dāng)然是一個(gè)該關(guān)注的焦點(diǎn)，但他強(qiáng)調(diào)，更可怕的是各種算法，去預(yù)測(cè)是不是會(huì)患心臟?。炕蚰闶欠駮?huì)犯罪等。有時(shí)，依靠大數(shù)據(jù)做出的演算與預(yù)測(cè)，如果與自由意志不符時(shí)，孰輕孰重？

同時(shí)，我們也擔(dān)心，愈來(lái)愈多的企業(yè)會(huì)掌握更多資料，但如此龐大的資料為他們所收集，拿去做了什么？什么用途？不一定能受到監(jiān)督與管理，這是重要議題。

“巨量資料是為人類所掌控，而不是被巨量資料所掌控，”這是荀伯格最后的提醒。

本文來(lái)源于微信公眾號(hào)：數(shù)據(jù)中國(guó)

新浪簡(jiǎn)介|廣告服務(wù)|網(wǎng)站導(dǎo)航|聯(lián)系我們|客戶服務(wù)|誠(chéng)聘英才|網(wǎng)站律師|通行證注冊(cè)|

Copyright 1996 - 2014 SINA Corporation, All Rights Reserved

新浪公司版權(quán)所有

對(duì)于大數(shù)據(jù)的四個(gè)特性我們當(dāng)然了解，相關(guān)性也找到了，接下來(lái)就是如何利用大數(shù)據(jù)創(chuàng)造出價(jià)值。“大數(shù)據(jù)是什么”，“大數(shù)據(jù)跟我有什么關(guān)系”，這是很多人第一次聽(tīng)到大數(shù)據(jù)心中所產(chǎn)生的疑問(wèn)。

據(jù)《30雜志》報(bào)道，麥爾·荀伯格在千余名想了解未來(lái)趨勢(shì)的觀眾面前，做了一場(chǎng)精彩易懂的演說(shuō)，告訴了企業(yè)及民眾，什么是大數(shù)據(jù)。

大數(shù)據(jù)找出相關(guān)性

2009年，全球出現(xiàn)一種新的流感病毒H1N1，當(dāng)時(shí)美國(guó)也無(wú)法幸免，疾病管制局(CDC)要求第一線的醫(yī)師遇到H1N1流感病例，必須立刻通報(bào)。即使如此，通報(bào)速度仍總是慢一步，會(huì)晚1到2個(gè)星期。這樣的時(shí)效讓疾管局無(wú)法掌握真實(shí)情況，對(duì)癥下藥。

當(dāng)時(shí)有幾位Google 工程師在著名的《自然》科學(xué)期刊中發(fā)表了一篇論文。他們透過(guò)美國(guó)最常使用的前5000萬(wàn)個(gè)搜尋關(guān)鍵字，再與疾管局2003-2008年間的流感傳播資料加以比對(duì)，用高達(dá)4.5億種不同的數(shù)學(xué)模型，找出這些字出現(xiàn)的頻率、時(shí)間及地點(diǎn)，有沒(méi)有統(tǒng)計(jì)上的相關(guān)性(correlation)。最后被他們挖到寶了，這套軟件找出了45個(gè)流感關(guān)鍵字眼，放進(jìn)數(shù)學(xué)模型之后，預(yù)測(cè)結(jié)果與官方公布的真實(shí)資料吻合，有強(qiáng)烈的相關(guān)性。

Google 運(yùn)用這套數(shù)學(xué)模型，再一次精準(zhǔn)地掌握了流感發(fā)生的高峰及地區(qū)，讓防疫工作同步進(jìn)行，不落后。

再說(shuō)另一例子，天文學(xué)來(lái)說(shuō)，美國(guó)太空總署執(zhí)行一項(xiàng)叫史隆數(shù)碼巡天計(jì)劃(Sloan Digital Sky Survey)，從2000年開(kāi)始，他們用位于美國(guó)新墨西哥州的天文望遠(yuǎn)鏡去收集資料，計(jì)劃開(kāi)始不過(guò)幾星期，收到的天文資料量就已超過(guò)了過(guò)去所有天文學(xué)歷史的總和。到了2010年，這個(gè)計(jì)劃收到了140TB 的資料量。但是接續(xù)的新計(jì)劃，預(yù)計(jì)2016年登場(chǎng)，未來(lái)的巡天望遠(yuǎn)鏡在5天內(nèi)，就可收到這些資料量。

荀伯格說(shuō)，當(dāng)資料進(jìn)入天文數(shù)字時(shí)代，荀伯格提醒：到底大數(shù)據(jù)有多大？其實(shí)不是那么重要，重點(diǎn)是在放大，擴(kuò)大資料量等級(jí)，就能做出少量資料做不到的事。

舉例來(lái)說(shuō)，畫(huà)一張馬的圖畫(huà)，不是太難的事，但如果畫(huà)了很多張馬的圖畫(huà)，再以每秒24幀來(lái)呈現(xiàn)這些圖畫(huà)，就成了動(dòng)畫(huà)。這里要強(qiáng)調(diào)的是“量變”產(chǎn)生了“質(zhì)變”，巨量就是這個(gè)道理，量的不同，也改變了本質(zhì)。

what比why重要

量增加了，就出現(xiàn)另一項(xiàng)大數(shù)據(jù)的特色：亂(messy)。巨量資料的內(nèi)容常是混亂不齊，質(zhì)量不一。這是因?yàn)椋蘖抠Y料的收集過(guò)程中，它只要一個(gè)大方向即可，不需要講究到一寸、一分。“這并不是說(shuō)我們放棄了精準(zhǔn)這件事，只是不再將精準(zhǔn)奉為圭臬，”荀伯格說(shuō)。

舉例來(lái)說(shuō)，我們要測(cè)量某個(gè)葡萄園的溫度，如果整片葡萄園只有一支溫度計(jì)，那這支溫度計(jì)就要十分精準(zhǔn)，不能故障，但也意味著它會(huì)很貴。換句話說(shuō)，就是不能有任何雜亂或出錯(cuò)；相反的，如果我們今天在葡萄園里放了100支溫度計(jì)去測(cè)溫度，就可以用便宜一些，簡(jiǎn)單的溫度計(jì)測(cè)出很精準(zhǔn)的溫度。

100支溫度計(jì)代表的是量大，盡管其中幾支可能不那么精準(zhǔn)，但卻可以收集到大量數(shù)據(jù)。比起只靠一支溫度計(jì)來(lái)說(shuō)，更可看到全貌，代表全體。那此時(shí)，一點(diǎn)雜亂就顯得微不足道。

重點(diǎn)又來(lái)了，荀伯格忽然站起來(lái)向所有在場(chǎng)的觀眾說(shuō)，大數(shù)據(jù)時(shí)代，資料數(shù)量比資料質(zhì)量更重要。更不要為了一點(diǎn)點(diǎn)信息的偏差而影響了整體分析，想處理掉不精準(zhǔn)的信息，成本會(huì)很高，也沒(méi)有必要！

另一個(gè)有趣的例子是沃爾瑪(73.54, 0.00, 0.00%)(Walmart)，他們從龐大的交易記錄上發(fā)現(xiàn)，在颶風(fēng)來(lái)襲前，銷量大增的不只是手電筒，還有一種美國(guó)小甜點(diǎn) Top-Tarts，店家會(huì)在每次颶風(fēng)來(lái)臨前，把一盒一盒的 Top-Tarts放在風(fēng)災(zāi)的必需品架上，方便急忙的顧客一次滿足，“特別是草莓口味的，賣(mài)得最好。”

請(qǐng)注意，這里Walmart不去弄清楚為什么颶風(fēng)時(shí)人們特別想吃Top-Tarts，而是把這個(gè)相關(guān)性找出來(lái)，直接采取更有利的營(yíng)銷動(dòng)作。

荀伯格特別強(qiáng)調(diào)，大數(shù)據(jù)時(shí)代，what比why重要。

再舉一個(gè)例子，發(fā)生在他朋友，也是大數(shù)據(jù)專家，任教于華盛頓大學(xué)的教授伊茲奧尼(Oren Etzioni)身上。2003 年時(shí)他想從西雅圖塔機(jī)到洛杉磯參加弟弟的婚禮，他想愈早訂票愈能買(mǎi)到便宜，幾個(gè)月前他就買(mǎi)好了機(jī)票，也覺(jué)得買(mǎi)得很便宜。沒(méi)想到他在航程中，出于好奇問(wèn)了隔壁乘客買(mǎi)多少錢(qián)，何時(shí)買(mǎi)的。結(jié)果，一問(wèn)之下，都回答最近才買(mǎi)，且都比他買(mǎi)得便宜，他十分生氣。

下了飛機(jī)后，他決定去好好研究一下購(gòu)買(mǎi)機(jī)票這件事。他發(fā)現(xiàn)，如果平均票價(jià)呈現(xiàn)下跌，買(mǎi)票就可以慢慢來(lái)；如果價(jià)格上揚(yáng)中，你就要先訂票，以免它水漲船高。

伊茲奧尼花了41天的時(shí)間去比對(duì)一旅游網(wǎng)站中超過(guò)12000筆的票價(jià)資料，他建立了一個(gè)模型，讓模擬的消費(fèi)者都省下了大筆的機(jī)票錢(qián)。在這模型里，消費(fèi)者不懂“為什么(why)”，只知道“正是如此(what)”，消費(fèi)者要決定現(xiàn)在是“買(mǎi)或是不買(mǎi)”。

后來(lái)這套模型發(fā)展出創(chuàng)業(yè)計(jì)劃，他創(chuàng)了一個(gè)Farecast網(wǎng)站，消費(fèi)者可以做出最佳判斷，何時(shí)該買(mǎi)，還是不買(mǎi)。

大數(shù)據(jù)與價(jià)值

當(dāng)我們知道了大數(shù)據(jù)的特性，也找到了相關(guān)性，接下來(lái)就是靠著它創(chuàng)造出價(jià)值來(lái)。

美國(guó)西雅圖有一家專門(mén)收集車(chē)輛實(shí)時(shí)定位的資料公司Inrix，它的資料來(lái)自上億臺(tái)的車(chē)輛。同時(shí)，它也推出手機(jī) App服務(wù)，通過(guò)提供服務(wù)換取特定的司機(jī)資料，包括他們?cè)_(kāi)車(chē)去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金，該基金根據(jù)大型零售商場(chǎng)附近的路況推測(cè)業(yè)績(jī)，在零售商公布季報(bào)前，搶先決定該買(mǎi)入或賣(mài)出。因?yàn)檐?chē)潮就是錢(qián)潮。這就是價(jià)值。

英國(guó)的羅爾斯羅伊斯是著名的飛機(jī)引擎制造商，它通過(guò)在引擎上安裝了一個(gè)監(jiān)控器，以掌控引擎是否正常運(yùn)轉(zhuǎn)。結(jié)果隨著他們收集到的資料中發(fā)現(xiàn)，當(dāng)引擎出現(xiàn)哪些信號(hào)異常，引擎可能會(huì)發(fā)生問(wèn)題，這個(gè)監(jiān)控變成了預(yù)測(cè)，大大減少飛安事故。羅爾斯羅伊斯從過(guò)去單單的制造引擎公司，轉(zhuǎn)型為服務(wù)咨詢，他們讓數(shù)據(jù)產(chǎn)生出價(jià)值。

荀伯格說(shuō)了許多大數(shù)據(jù)的美好，但他強(qiáng)調(diào)，大數(shù)據(jù)有其黑暗面：隱私當(dāng)然是一個(gè)該關(guān)注的焦點(diǎn)，但他強(qiáng)調(diào)，更可怕的是各種算法，去預(yù)測(cè)是不是會(huì)患心臟??？或你是否會(huì)犯罪等。有時(shí)，依靠大數(shù)據(jù)做出的演算與預(yù)測(cè)，如果與自由意志不符時(shí)，孰輕孰重？

同時(shí)，我們也擔(dān)心，愈來(lái)愈多的企業(yè)會(huì)掌握更多資料，但如此龐大的資料為他們所收集，拿去做了什么？什么用途？不一定能受到監(jiān)督與管理，這是重要議題。

“巨量資料是為人類所掌控，而不是被巨量資料所掌控，”這是荀伯格最后的提醒。