小心大數(shù)據(jù)的陷阱:數(shù)據(jù)是不是越大越好

責(zé)任編輯:jacky

2014-08-27 08:39:42

摘自:和訊網(wǎng)

前不久騰訊舉辦了一場(chǎng)夏季思享會(huì),其主題是大數(shù)據(jù)。而最近對(duì)Google Flu Trends(流感趨勢(shì))的一些研究正好佐證了這一點(diǎn)。有幾次Google Trends就嚴(yán)重高估了流感病例的數(shù)量,包括2011/12的美國流感,2008/09瑞士流感,2008/09德國流感、2008/09比利時(shí)流感等

前不久騰訊舉辦了一場(chǎng)夏季思享會(huì),其主題是大數(shù)據(jù)。關(guān)于大數(shù)據(jù),大家炒作得更多的是機(jī)遇、威力,比方說越來越多人利用Google的大數(shù)據(jù)來研究趨勢(shì),輔助分析決策,但是這場(chǎng)思享會(huì)從另一個(gè)角度分享了一個(gè)很好的思考:大數(shù)據(jù)也可能是“大忽悠”。

而最近對(duì)Google Flu Trends(流感趨勢(shì))的一些研究正好佐證了這一點(diǎn)。

說到Google Flu Trends,首先必須先提一提Google Trends和Google Correlate。Google Trends利用對(duì)用戶搜索的大數(shù)據(jù)分析來獲得人類某些活動(dòng)的趨勢(shì),只要在Google Trends上輸入某些查詢關(guān)鍵字即可返回相關(guān)活動(dòng)的數(shù)據(jù)序列。而Google Correlate則是輸入數(shù)據(jù)序列可返回一組結(jié)果呈類似模式(相關(guān)性)的查詢,有點(diǎn)類似于Google Trends的反函數(shù)。

Google Flu Trends是Google Trends最早也是最知名的應(yīng)用之一。鑒于很多人患流感是往往會(huì)上Google查詢了解疾病情況和用藥,因此Google發(fā)現(xiàn)這種查詢與流感爆發(fā)存在著某種相關(guān)關(guān)系。Google Trends曾經(jīng)有過多次對(duì)流感的成功預(yù)測(cè),包括2011/12年的美國流感、2007/08年瑞士流感、2005/06年德國流感、2007/08比利時(shí)流感等,其及時(shí)性甚至要比美國疾病預(yù)防控制中心還要高。

這顯示出了搜索“流感”與流感爆發(fā)的相關(guān)性。

另一個(gè)例子是“宿醉”。比方說在Google Trends輸入“hangover(宿醉)”,你會(huì)發(fā)現(xiàn)這種情況在周六開始冒頭,然后周日到達(dá)巔峰,而到了周一則急劇下降。這種模式與輸入“伏特加”的查詢結(jié)果類似(滯后一天)。

但是數(shù)據(jù)越大未必就能帶來更高的預(yù)測(cè)率。甚至還會(huì)帶來“假規(guī)律”和“偽相關(guān)”。比方說,搜索2004至2012年間的美國汽車銷售與“印度餐館”,結(jié)果發(fā)現(xiàn)二者之間竟然存在相關(guān)關(guān)系。這個(gè)東西顯然是無法解釋的。

偽相關(guān)的原因是什么呢?

首先,相關(guān)性并不意味著因果關(guān)系。比方說,Google Flu Trends對(duì)趨勢(shì)的預(yù)測(cè)并非屢試不爽。有幾次Google Trends就嚴(yán)重高估了流感病例的數(shù)量,包括2011/12的美國流感,2008/09瑞士流感,2008/09德國流感、2008/09比利時(shí)流感等。

英國倫敦大學(xué)學(xué)院的研究人員對(duì)此進(jìn)行了研究。結(jié)果發(fā)現(xiàn),到Google搜索“流感”的人可以分成兩類,一類是感冒患者,一類是跟風(fēng)搜索者(可能是因?yàn)槊襟w報(bào)道而對(duì)感冒話題感興趣者)。

顯然第一類人的數(shù)據(jù)才是有用的。其搜索是內(nèi)部產(chǎn)生的,獨(dú)立于外界的。因此這些人的搜索模式應(yīng)該與受到外界影響而進(jìn)行搜索的人的模式不同。而正是第二類人的社會(huì)化搜索使得Google Flu Trends的預(yù)測(cè)失真。這正是因?yàn)镚oogle Flu Trends把搜索“流感”與得流感的相關(guān)性當(dāng)成了因果關(guān)系所致。

而稍早前美國東北大學(xué)與哈佛大學(xué)的研究人員對(duì)Google Flu Trends的失真案例進(jìn)行的另一組研究則認(rèn)為,這反映出了熱炒大數(shù)據(jù)的氛圍下誕生的一股大數(shù)據(jù)自大思潮。這股思潮認(rèn)為,大數(shù)據(jù)完全可以取代傳統(tǒng)的數(shù)據(jù)收集方法。其最大問題在于,絕大多數(shù)大數(shù)據(jù)與經(jīng)過嚴(yán)謹(jǐn)科學(xué)試驗(yàn)和采樣設(shè)計(jì)得到的數(shù)據(jù)之間存在很大的不同。首先,大未必全;其次,大則可能魚龍混雜。

此外,Google搜索算法本身的變化也有可能影響到Google Flu Trends的結(jié)果。這個(gè)原因不難理解。要知道,Google搜索的調(diào)整非常頻繁,單去年就進(jìn)行了890項(xiàng)改進(jìn)。其中就有不少屬于算法的調(diào)整。媒體對(duì)于流感流行的報(bào)道會(huì)增加與流感相關(guān)的詞匯的搜索次數(shù),也會(huì)令Google增加相關(guān)搜索的推薦。從而令一些本身并不感冒的人也對(duì)流感產(chǎn)生了興趣,進(jìn)而把數(shù)據(jù)弄臟。

如何清洗數(shù)據(jù)呢?歸根到底還是需要對(duì)數(shù)據(jù)進(jìn)行模式分析。在流感趨勢(shì)這個(gè)例子,研究人員認(rèn)為,執(zhí)行獨(dú)立搜索的患流感人群的模式會(huì)隨著時(shí)間推移而異于社會(huì)化搜索。其表現(xiàn)應(yīng)該是在流感爆發(fā)時(shí)搜索急劇攀升,然后隨著流感消失而緩慢下降。相反,社會(huì)化搜索則會(huì)表現(xiàn)得更為勻稱。數(shù)據(jù)表明,在Google流感趨勢(shì)出現(xiàn)高估的時(shí)候,趨勢(shì)曲線的對(duì)稱性的確更高。

這說明在分析大數(shù)據(jù)時(shí)必須要注意此類陷阱。充斥的大數(shù)據(jù)集以及統(tǒng)計(jì)學(xué)家對(duì)分析結(jié)果的傳播會(huì)令真實(shí)的數(shù)據(jù)被放大或弄臟。

正如《The Parable of Google Flu: Traps in Big Data Analysis》的作者所認(rèn)為那樣,數(shù)據(jù)的價(jià)值并不僅僅體現(xiàn)在其“大小”上。利用創(chuàng)新性數(shù)據(jù)分析方法去分析數(shù)據(jù)才是本質(zhì)。

當(dāng)然,在未來數(shù)據(jù)能夠逐步成為真正的大數(shù)據(jù),并且數(shù)字世界與實(shí)體世界的映射趨于一致時(shí),大數(shù)據(jù)也許就能發(fā)揮其完全的威力,乃至于改變我們解決問題的方式。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)