“大數(shù)據(jù),多大算大?”——這是一個(gè)經(jīng)常被問(wèn)到的問(wèn)題。
這不是一個(gè)經(jīng)濟(jì)學(xué)問(wèn)題,也不是一個(gè)數(shù)學(xué)問(wèn)題,而是需要具體情況具體分析的一個(gè)實(shí)驗(yàn)問(wèn)題。然而,實(shí)驗(yàn)需要工具。
首先,這取決于目標(biāo)。如果沒(méi)有明確的目標(biāo),數(shù)據(jù)常常被籠統(tǒng)地認(rèn)為有用。然而,實(shí)際并非如此。互聯(lián)網(wǎng)每天都產(chǎn)生大量數(shù)據(jù),但其中大部分?jǐn)?shù)據(jù)是噪音,不僅沒(méi)有用,還需要被化療掉。當(dāng)我們?cè)O(shè)定好一個(gè)可以量化的目標(biāo)變量,算法才可以用科學(xué)的方式量化評(píng)估數(shù)據(jù)價(jià)值。
其次,我們需要工具,可以自動(dòng)化跑通建模全流程,從而評(píng)估效果。這在機(jī)器學(xué)習(xí)技術(shù)——有監(jiān)督學(xué)習(xí)中有詳細(xì)介紹。在分類(lèi)問(wèn)題中,量化效果的指標(biāo)包括:AUC, KS, Accuracy, Precision, Recall, F1 measure;在回歸問(wèn)題中,量化效果的指標(biāo)包括:RMSE, RMSLE, MAE, Gini。也就是說(shuō),當(dāng)我們明確目標(biāo)后,把數(shù)據(jù)丟給工具,工具告訴我們:用這份數(shù)據(jù)建模,效果是多少。
當(dāng)我們有了目標(biāo)和工具,我們便可以評(píng)估樣本大小和數(shù)據(jù)價(jià)值的關(guān)系了。我們可以把數(shù)據(jù)進(jìn)行分割,一份用于訓(xùn)練模型(訓(xùn)練數(shù)據(jù)),一份用于測(cè)試效果。對(duì)于訓(xùn)練數(shù)據(jù),我們可以再隨機(jī)均分為N份,基于部分訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)測(cè)并計(jì)算效果。然后,我們便可以評(píng)估訓(xùn)練樣本大小和模型效果之間的關(guān)系。不僅如此,我們還可以由此推斷,什么類(lèi)型的樣本最有價(jià)值。
不是所有特征(變量)都有用,有用的特征往往并不多。建模工具同時(shí)還可以提供——哪些特征有用,權(quán)重分別是多少,詳見(jiàn)機(jī)器學(xué)習(xí)技術(shù)——有監(jiān)督學(xué)習(xí)?;跈C(jī)器學(xué)習(xí)算法選擇的變量和對(duì)應(yīng)權(quán)重,我們可以進(jìn)一步進(jìn)行關(guān)聯(lián),找到和有用變量相關(guān)的其他潛在變量。
“大數(shù)據(jù),多大算大?”這是一個(gè)簡(jiǎn)單的問(wèn)題,如果你有工具。你丟給工具一份數(shù)據(jù),工具告訴你:
1.這份數(shù)據(jù)的效果有多好?
2.樣本大小與數(shù)據(jù)效果的關(guān)系?
3.什么樣本最有用?
4.什么特征最有用?
如此,你便可以繼續(xù)收集和重要樣本類(lèi)似的樣本,繼續(xù)提取和重要變量相關(guān)的變量。
如果我們可以輕而易舉地知道什么數(shù)據(jù)有用,那么,大數(shù)據(jù),多大都不算大。