大數(shù)據(jù)運(yùn)用:溫故而知新

責(zé)任編輯:editor008

2014-05-09 09:48:35

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

隨著大數(shù)據(jù)時代的深入發(fā)展,關(guān)于大數(shù)據(jù)的話題和討論從未停止過,大數(shù)據(jù)也已經(jīng)成為各大論壇的熱點話題,總體來說,人們對大數(shù)據(jù)的前景持樂觀態(tài)度,比如談到大數(shù)據(jù)的技術(shù)特征

《企業(yè)網(wǎng)D1Net》5月9日訊

隨著大數(shù)據(jù)時代的深入發(fā)展,關(guān)于大數(shù)據(jù)的話題和討論從未停止過,大數(shù)據(jù)也已經(jīng)成為各大論壇的熱點話題,總體來說,人們對大數(shù)據(jù)的前景持樂觀態(tài)度,比如談到大數(shù)據(jù)的技術(shù)特征,人們最容易想起的就是4個“v”:vast(數(shù)量龐大)、variety(種類繁多)、velocity(增長迅速)和value(總價值高)。這些都沒錯,但仔細(xì)一想,它們都是偏重說明大數(shù)據(jù)的正面優(yōu)勢的。

但其實,大也有大的難處,大數(shù)據(jù)也不可避免地存在著一些負(fù)面劣勢。這些負(fù)面劣勢可以概括四點:

inflated——大數(shù)據(jù)是肥胖的。大數(shù)據(jù)的大不僅僅體現(xiàn)在數(shù)據(jù)記錄的行數(shù)多,更體現(xiàn)在字段變量的列數(shù)多,這就為分析多因素之間的關(guān)聯(lián)性帶來了難度。哪怕是最簡單的方差分析,計算一兩個還行,計算一兩百個就讓人望而生畏了。

unstructured——大數(shù)據(jù)是非結(jié)構(gòu)化的。大數(shù)據(jù)的結(jié)構(gòu)也是非常復(fù)雜的,既包括像交易額、時間等連續(xù)型變量,像性別、工作類型等離散型變量這樣傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),更增添了如文本、社會關(guān)系網(wǎng)絡(luò),乃至語音、圖像等大量新興的非結(jié)構(gòu)化數(shù)據(jù),而這些非結(jié)構(gòu)化數(shù)據(jù)蘊(yùn)含的信息量往往更加巨大,但分析手段卻略顯單薄。

incomplete——大數(shù)據(jù)是殘缺的。在現(xiàn)實的世界里,由于用戶登記的信息不全、計算機(jī)數(shù)據(jù)存儲的錯誤等種種原因,數(shù)據(jù)缺失是常見的現(xiàn)象。在大數(shù)據(jù)的場景下,數(shù)據(jù)缺失更是家常便飯,這就為后期的分析與建模質(zhì)量增加了不確定的風(fēng)險。

abnormal——大數(shù)據(jù)是異常的。同樣,在現(xiàn)實的世界里,大數(shù)據(jù)里還有不少異常值(outlier)。比如某些連續(xù)型變量(如一個短期時間內(nèi)的交易金額)的取之太大,某些離散型變量(如某個被選購的產(chǎn)品名稱)里的某個水平值出現(xiàn)的次數(shù)太少,等等。如果不刪除,很可能干擾模型系數(shù)的計算和評估;如果直接刪除,又覺得缺乏說服力,容易引起他人的質(zhì)疑。這使得分析人員落到了一個進(jìn)退兩難的境地。

古有孔子“溫故而知新”,而今,人們利用大數(shù)據(jù)的分析,已經(jīng)可以預(yù)見和分析出很多當(dāng)下時代的大趨勢了。但是,這些分析數(shù)據(jù)的真實性怎么保證呢?目前,我國的大數(shù)據(jù)正處于發(fā)展中階段,如果不能處理好這些不利因素就盲目“跟風(fēng)”去運(yùn)用,那么大數(shù)據(jù)應(yīng)用的優(yōu)勢很難發(fā)揮出來。想要真正運(yùn)用好大數(shù)據(jù),并不是一項在常規(guī)條件下數(shù)據(jù)分析的簡單升級,而是一項需要大智慧的綜合工作。

其實,只要是有效地利用大數(shù)據(jù),就可以實時監(jiān)控各種潛在風(fēng)險,提高生產(chǎn)效率,更重要的是為企業(yè)提供諸多洞見,提升投資回報和競爭優(yōu)勢,而且有助于企業(yè)從多維度判斷全球市場潛在商機(jī),實現(xiàn)跳躍式快速發(fā)展。如果沒有一個全面、客觀認(rèn)識大數(shù)據(jù)的過程,即便我們能很容易的利用大數(shù)據(jù)得到很多可預(yù)見的數(shù)據(jù),又有幾分準(zhǔn)確性?

D1Net評論:

古語說:溫故而知新。大數(shù)據(jù)的應(yīng)用也同樣需要溫故而知新,對于身處在大數(shù)據(jù)時代下的我們,必須要對大數(shù)據(jù)有一個全面、客觀的認(rèn)識。文中提到的四個難點,也是必須要重視的。只有在不同的業(yè)務(wù)和數(shù)據(jù)背景下采用不同的戰(zhàn)略戰(zhàn)術(shù),才能在大數(shù)據(jù)時代,真正發(fā)揮大數(shù)據(jù)的杠桿作用,有效提高企業(yè)的運(yùn)營效率和市場競爭力,才能真正發(fā)揮大數(shù)據(jù)價值。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號