我談?wù)剬?duì)大數(shù)據(jù)分析的理解,這要從什么是大數(shù)據(jù)講起。
因?yàn)閺氖逻@一方向,經(jīng)常會(huì)有人問(wèn)我什么是大數(shù)據(jù)?我一直都回答不好。在最近的幾個(gè)月,我對(duì)這一概念思考的更多一些,結(jié)合看過(guò)的一些書(shū)籍(如《大數(shù)據(jù)時(shí)代》、《數(shù)學(xué)之美》第二版等)和實(shí)際的經(jīng)歷,算是有了一些認(rèn)識(shí),今天我就從大數(shù)據(jù)的概念開(kāi)始講起,試圖給大家講清楚什么是大數(shù)據(jù)分析。
首先,我來(lái)談?wù)勎覍?duì)大數(shù)據(jù)的理解,分為大數(shù)據(jù)概念和大數(shù)據(jù)思維。
我把大數(shù)據(jù)的概念總結(jié)為四個(gè)字:大、全、細(xì)、時(shí)。
我們先來(lái)看一組數(shù)據(jù):
百度每天采集的用戶行為數(shù)據(jù)有1.5PB以上
全國(guó)各地級(jí)市今天的蘋(píng)果價(jià)格數(shù)據(jù)有2MB
1998年Google抓取的互聯(lián)網(wǎng)頁(yè)面共有47GB(壓縮后)
一臺(tái)風(fēng)力發(fā)電機(jī)每天產(chǎn)生的振動(dòng)數(shù)據(jù)有50GB
百度每天的行為數(shù)據(jù)1.5個(gè)PB夠大吧?我們毫無(wú)懷疑這是大數(shù)據(jù)。但全國(guó)各個(gè)地級(jí)市今天的蘋(píng)果價(jià)格只有2MB大小,是典型的小數(shù)據(jù)吧?但如果我們基于這個(gè)數(shù)據(jù),做一個(gè)蘋(píng)果分銷的智能調(diào)度系統(tǒng),這就是個(gè)牛逼的大數(shù)據(jù)應(yīng)用了。Google在剛成立的時(shí)候,佩奇和布林下載了整個(gè)互聯(lián)網(wǎng)的頁(yè)面,在壓縮后也就47GB大小,現(xiàn)在一個(gè)U盤都能裝的下,但Google搜索顯然是個(gè)大數(shù)據(jù)的應(yīng)用。如果再來(lái)看一臺(tái)風(fēng)機(jī)每天的振動(dòng)數(shù)據(jù)可能都有50GB,但這個(gè)數(shù)據(jù)只是針對(duì)這一臺(tái)風(fēng)機(jī)的,并不能從覆蓋面上,起到多大的作用,這我認(rèn)為不能叫大數(shù)據(jù)。
這里就是在強(qiáng)調(diào)大,是Big不是Large,我們強(qiáng)調(diào)的是抽象意義的大。
我們?cè)賮?lái)看關(guān)于美國(guó)大選的三次事件:
2012年Nate Silver通過(guò)互聯(lián)網(wǎng)采集社交、新聞數(shù)據(jù),預(yù)測(cè)大選結(jié)果
《文學(xué)文摘》所收集的問(wèn)卷有240萬(wàn),絕對(duì)是夠大的,但為什么預(yù)測(cè)錯(cuò)誤了呢?當(dāng)時(shí)《文學(xué)文摘》是通過(guò)電話調(diào)查的,能夠裝電話的就是一類富人,這類人本身就有不同的政治傾向,調(diào)查的結(jié)果本身就是偏的。而蓋洛普只收集了5萬(wàn)人的意見(jiàn),但是他采用按照社會(huì)人群按照比例抽樣,然后匯集總體結(jié)果,反而預(yù)測(cè)正確了。因?yàn)檫@次預(yù)測(cè),蓋洛普一炮而紅,現(xiàn)在成了一個(gè)著名的調(diào)研公司。當(dāng)然,后來(lái)蓋洛普也有預(yù)測(cè)失敗的時(shí)候。到了2012年,一個(gè)名不見(jiàn)經(jīng)傳的人物Nate Silver通過(guò)采集網(wǎng)上的社交、新聞數(shù)據(jù),這是他預(yù)測(cè)的情況和真實(shí)的情況:
兩者是驚人的接近的。
從這點(diǎn)我是想強(qiáng)調(diào)要全量而不是抽樣,大數(shù)據(jù)時(shí)代有了更好的數(shù)據(jù)采集手段,讓獲取全量數(shù)據(jù)成為可能。
在2013年9月,百度知道發(fā)布了一份《中國(guó)十大吃貨省市排行榜》,在關(guān)于“××能吃嗎?”的問(wèn)題中,寧夏網(wǎng)友最關(guān)心“螃蟹能吃嗎?”內(nèi)蒙古、新疆和西藏的人最關(guān)心“蘑菇能吃嗎?”浙江、廣東、福建、四川等地網(wǎng)友問(wèn)得最多的是“××蟲(chóng)能吃嗎?”而江蘇以及上海、北京等地則最愛(ài)問(wèn)“××的皮能不能吃?”。下圖是全國(guó)各地關(guān)心的食物:
用戶在問(wèn)什么能吃嗎的時(shí)候,并不會(huì)說(shuō)“我來(lái)自寧夏,我想知道螃蟹能吃嗎”,而是會(huì)問(wèn)“螃蟹能吃嗎”,但是服務(wù)器采集到了用戶的IP地址,而通過(guò)IP地址就能知道他所在的省份。這就是數(shù)據(jù)多維度的威力,如果沒(méi)有IP這個(gè)維度,這個(gè)分析就不好辦了。而現(xiàn)有的采集手段,能夠讓我們從多個(gè)維度獲取數(shù)據(jù),再進(jìn)行后續(xù)分析的時(shí)候,就能對(duì)這些維度加以利用,就是“細(xì)”。
我們現(xiàn)在對(duì)CPI已經(jīng)不再陌生,是居民消費(fèi)價(jià)格指數(shù)(consumer price index)的簡(jiǎn)稱。我們努力工作,起碼要跑過(guò)CPI。
那你有了解過(guò)CPI是怎么統(tǒng)計(jì)的嗎?這里包括兩個(gè)階段,一個(gè)是收集商品價(jià)格數(shù)據(jù),一個(gè)是分析并發(fā)布數(shù)據(jù)。我從百度百科上了解到,中國(guó)CPI采樣500多個(gè)市縣,采價(jià)調(diào)查點(diǎn)6.3萬(wàn)個(gè),近4000名采價(jià)員,次月中旬發(fā)布報(bào)告。我還曾找國(guó)家統(tǒng)計(jì)局的朋友確認(rèn)了這個(gè)事情。
而在美國(guó)有一家創(chuàng)業(yè)公司叫Premise Data。它通過(guò)眾包方式,25000個(gè)采價(jià)員(學(xué)生、收銀員、司機(jī)等),使用手機(jī)APP采集數(shù)據(jù),每條6~40美分,比美國(guó)政府?dāng)?shù)據(jù)提前4~6周發(fā)布。
這就是“時(shí)”,強(qiáng)調(diào)實(shí)時(shí)收集數(shù)據(jù)和實(shí)時(shí)分析數(shù)據(jù)。當(dāng)然,在CPI的例子中,我們可以讓價(jià)格上報(bào)更智能一些,不需要人工的方式。
從上面的大、全、細(xì)、時(shí)四個(gè)字,我們就可以對(duì)大數(shù)據(jù)的概念有個(gè)較為清晰的認(rèn)識(shí)。這四點(diǎn)主要強(qiáng)調(diào)的數(shù)據(jù)的獲取和規(guī)模上,和以往傳統(tǒng)數(shù)據(jù)時(shí)代的差異。有了這個(gè)基礎(chǔ),我們還要看怎么對(duì)大數(shù)據(jù)加以利用。這里就要看看大數(shù)據(jù)思維。我們也來(lái)看兩個(gè)例子。
85前應(yīng)該都用過(guò)智能ABC,一種古老的輸入法,打起來(lái)特別慢。到了2002年左右,出了一個(gè)叫紫光的輸入法,當(dāng)時(shí)我就震驚了。真的輸入很快,仿佛你的按鍵還沒(méi)按下去,字就已經(jīng)跳出來(lái)了。但漸漸的發(fā)現(xiàn)紫光拼音有個(gè)問(wèn)題是許多新的詞匯它沒(méi)有。后來(lái)有了搜狗輸入法,直接基于搜索的用戶搜索記錄,去抽取新的詞庫(kù),準(zhǔn)實(shí)時(shí)的更新用戶本地的詞庫(kù)數(shù)據(jù),因?yàn)橛辛舜罅康妮斎霐?shù)據(jù),就能直接識(shí)別出最可能的組合。
我們以前都用紙質(zhì)的地圖,每年還要買新的,舊的地址可能會(huì)過(guò)時(shí),看著地圖你絕對(duì)不知道哪里堵車。但有了百度地圖就不一樣了,我們上面搜索的地址都是及時(shí)更新的,雖然偶爾也會(huì)有被帶到溝里的情況,但畢竟是少數(shù)。可以實(shí)時(shí)的看到路面堵車情況,并且可以規(guī)劃防擁堵路線。
我們想想這種做事方式和以前有和不同?
我們發(fā)現(xiàn)不是在拍腦袋做決定了,不是通過(guò)因果關(guān)系或者規(guī)則來(lái)決定該怎么辦了,而是直接通過(guò)數(shù)據(jù)要答案。我們獲取的數(shù)據(jù)越全面,越能消除更多的不確定性。也就是用數(shù)據(jù)說(shuō)話,數(shù)據(jù)驅(qū)動(dòng)。
在百度文化的29條中,我第二認(rèn)可的一條就是“用數(shù)據(jù)說(shuō)話”,數(shù)據(jù)有時(shí)候也會(huì)欺騙人,但大部分時(shí)候它還是客觀冷靜的,不帶有感情色彩。據(jù)說(shuō)在硅谷用數(shù)據(jù)說(shuō)話都是一種很自然的工作習(xí)慣,但你放眼望去你周圍,你會(huì)發(fā)現(xiàn)許多沒(méi)有數(shù)據(jù)的例子,拍腦袋的,拼嗓門的,拼關(guān)系的,拼職位的,這一點(diǎn)都不科學(xué)。
那我們?cè)賮?lái)看看互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)驅(qū)動(dòng)。許多公司的情況是這樣的:
不管是運(yùn)營(yíng)、產(chǎn)品、市場(chǎng)、老板,都通過(guò)數(shù)據(jù)工程師老王獲取數(shù)據(jù),老王忙的痛不欲生。但數(shù)據(jù)需求方都對(duì)數(shù)據(jù)獲取的速度很不滿意,有的等不及,還是決定拍腦袋了。這樣極大的阻礙的迭代的速度。
還有的公司情況是這樣的:
對(duì)老板來(lái)說(shuō),有個(gè)儀表盤還不錯(cuò),終于知道公司的總體運(yùn)營(yíng)情況了,可以基于總體情況做決策了。但如果發(fā)現(xiàn)某天的銷售額下跌了20%,肯定是要安排下面的人追查的。對(duì)于實(shí)際干活的運(yùn)營(yíng)、產(chǎn)品同學(xué)來(lái)說(shuō),光看一個(gè)宏觀的指標(biāo)是不夠的,解決不了問(wèn)題,還要想辦法對(duì)數(shù)據(jù)進(jìn)行多維度的分析,細(xì)粒度的下鉆,這是儀表盤解決不了的。
那么理想的數(shù)據(jù)驅(qū)動(dòng)應(yīng)該是什么樣子的?應(yīng)該是人人都能夠自助式(Self-Service)的數(shù)據(jù)分析,每個(gè)業(yè)務(wù)人員和數(shù)據(jù)之間,有一個(gè)強(qiáng)大的工具,而不是苦逼的老王?;蛘咧皇悄芸吹綌?shù)據(jù)的冰山一角。在數(shù)據(jù)源頭上,又可以獲取到全面的數(shù)據(jù)。
我們接下來(lái)看看現(xiàn)有的解決方案上,離真正的數(shù)據(jù)驅(qū)動(dòng)還有多遠(yuǎn)的距離。
常見(jiàn)的方案有三種:
我們先來(lái)看看第三方統(tǒng)計(jì)服務(wù),目前國(guó)內(nèi)用的比較多的有三家,友盟、百度統(tǒng)計(jì)和TalkingData,他們都類似Google Analytics(簡(jiǎn)稱GA,谷歌分析)。
這些工具的優(yōu)勢(shì)是使用簡(jiǎn)單,并且免費(fèi)。
是有以下幾點(diǎn):
數(shù)據(jù)源:只能覆蓋前端JS/APP SDK記錄的數(shù)據(jù),無(wú)法覆蓋服務(wù)
端和業(yè)務(wù)數(shù)據(jù)庫(kù)的數(shù)據(jù);
分析能力:只能覆蓋宏觀通用分析,使用后還需要數(shù)據(jù)團(tuán)隊(duì)滿足
運(yùn)營(yíng)/產(chǎn)品的各類定制化的需求;
第二種是使用數(shù)據(jù)庫(kù)寫(xiě)SQL,這種在創(chuàng)業(yè)公司用的比較多: