最近一段時(shí)間,筆者陸續(xù)看到一些非議大數(shù)據(jù)的文章,指出大數(shù)據(jù)的問題和局限性。但我看到的幾乎所有文章,提出的問題都是針對(duì)應(yīng)用大數(shù)據(jù)進(jìn)行分析預(yù)測(cè)而言。其實(shí),早在兩年前,我就看到過一則所謂大數(shù)據(jù)的寓言。話說有一只小豬出生在豬圈里,從它出生起,每天就看到一些兩條腿的動(dòng)物在周圍走來走去,給它送一些吃的喝的。小豬高興的時(shí)候,就在泥里打滾;憂傷的時(shí)候,就趴在豬圈里看夕陽西下。經(jīng)過對(duì)幾百天的“大數(shù)據(jù)分析”,它得出結(jié)論“未來的日子也一定是這樣的”。終于,一場(chǎng)血腥的殺戮終結(jié)了它的大數(shù)據(jù)分析。臨死的時(shí)候,它恍然悟到“(此處省略兩個(gè)字),大數(shù)據(jù)都是騙人的”。
其實(shí),寓言都是人編寫創(chuàng)作的,目的是說明作者的某種態(tài)度和觀點(diǎn)。而這則寓言的作者顯然回避了一些最為基本且重要的“劇情”,就是小豬的身邊還有沒有它的同類。如果有,那么小豬不可能看不到其他同類的下場(chǎng);如果它忽視了,那只能說它的分析出了問題,忽視了幾百天的時(shí)間內(nèi)其它同類的命運(yùn)。如果這只小豬真的是一只遺腹子、獨(dú)生子女,前無古人后無來者,獨(dú)自在豬圈里住了幾百天,那么,還有什么其他方法能讓它對(duì)自己的命運(yùn)作出更加準(zhǔn)確的預(yù)測(cè)嗎?
當(dāng)年,谷歌曾經(jīng)準(zhǔn)確地對(duì)禽流感疫情作出預(yù)測(cè)判斷。但作為一個(gè)成功的案例卻好景不長,此后,谷歌的預(yù)測(cè)不準(zhǔn)了。于是,預(yù)測(cè)不準(zhǔn)又成了“反面教材”。在今年第二期《統(tǒng)計(jì)研究》雜志上,秦磊和謝邦昌先生從數(shù)據(jù)源和統(tǒng)計(jì)分析方法的角度,對(duì)這個(gè)經(jīng)典案例進(jìn)行了剖析。而同樣的道理是,即使谷歌后來的分析有各種問題,但不依據(jù)大數(shù)據(jù)做出的、比谷歌的預(yù)測(cè)更加精準(zhǔn)的禽流感預(yù)測(cè)案例,有嗎?
2014年9月,國家統(tǒng)計(jì)局舉辦全國統(tǒng)計(jì)系統(tǒng)建模大賽。統(tǒng)計(jì)科研所的參賽隊(duì)伍利用百度關(guān)鍵詞搜索,對(duì)北京的房價(jià)走勢(shì)進(jìn)行了預(yù)測(cè)。有媒體擔(dān)心,統(tǒng)計(jì)部門如果做預(yù)測(cè),就難免會(huì)將自己的實(shí)際數(shù)字往預(yù)測(cè)數(shù)據(jù)上靠,就難免帶來數(shù)據(jù)的失真。其實(shí),利用搜索大數(shù)據(jù)分析房價(jià),一是為了在傳統(tǒng)數(shù)據(jù)尚未出爐之前,對(duì)形勢(shì)發(fā)展早一些做出預(yù)判;二是為了使評(píng)估傳統(tǒng)數(shù)據(jù)質(zhì)量時(shí)多一個(gè)參照系。分析房價(jià)如此,分析預(yù)測(cè)其他方面的數(shù)據(jù)及趨勢(shì),意義同樣如是。對(duì)于其他研究人員、專家學(xué)者、主管部門而言,應(yīng)用大數(shù)據(jù)的意義或許主要就是分析和預(yù)測(cè),至少目前是這樣;但對(duì)政府統(tǒng)計(jì)部門和統(tǒng)計(jì)工作而言,應(yīng)用大數(shù)據(jù)的意義絕非僅限于此,更為重要的,還是將大數(shù)據(jù)作為統(tǒng)計(jì)的重要數(shù)據(jù)源。
有些質(zhì)疑的文章說,重視大數(shù)據(jù)的人,連什么是大數(shù)據(jù)也未必整得明白。其實(shí),從麥肯錫報(bào)告到維基百科,從涂子沛先生的《大數(shù)據(jù)》到工信部的白皮書,對(duì)大數(shù)據(jù)的的定義都大同小異,概括起來就是三點(diǎn):體量大,電子化產(chǎn)生,數(shù)據(jù)與技術(shù)的集成。在大數(shù)據(jù)改變著我們的生活、我們生活的改變又時(shí)時(shí)催生出新的大數(shù)據(jù)的今天,越來越多的大數(shù)據(jù)成為我們核心指標(biāo)的基礎(chǔ)性數(shù)據(jù)。不將其恰如其分地納入統(tǒng)計(jì)范圍,我們的核心指標(biāo)就面臨失真的風(fēng)險(xiǎn)。
前不久,有媒體報(bào)道,阿里集團(tuán)的年銷售額已達(dá)3萬億元。這是什么概念呢?2015年全年,中國的社會(huì)消費(fèi)品零售總額為30萬億元,國內(nèi)生產(chǎn)總值是67.7萬億元。盡管不同指標(biāo)間或有口徑、范圍的差異,但作為一家電商企業(yè),阿里的市場(chǎng)份額和擴(kuò)張速度還是可以由此窺豹一斑的。而除了龍頭老大阿里之外,還有京東商城、1號(hào)店等諸多電商平臺(tái),規(guī)模和速度也不可小覷。網(wǎng)上零售的大數(shù)據(jù)將直接關(guān)系社會(huì)商品零售總額、行業(yè)增加值、居民消費(fèi)價(jià)格指數(shù)、居民消費(fèi)支出等諸多重要統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確程度。同樣,當(dāng)很多人團(tuán)購成為習(xí)慣、當(dāng)外賣攻陷校園、當(dāng)沒有一個(gè)人去影院買票卻可以滿場(chǎng)的時(shí)候,我們已經(jīng)到了絕不能再固守原有統(tǒng)計(jì)渠道及方法的時(shí)候。面對(duì)大數(shù)據(jù)帶來的改變,從法律法規(guī)到制度方法、技術(shù)手段等諸多方面,變革真的迫在眉睫,真的刻不容緩。而這些,也真的比應(yīng)用大數(shù)據(jù)開展分析預(yù)測(cè)更加重要和急迫。