大數(shù)據(jù)需去其糟粕取精華

責(zé)任編輯:editor004

2014-02-12 11:01:42

摘自:中關(guān)村在線

互聯(lián)網(wǎng)的出現(xiàn)拉近了人們之間的距離,吐槽也成為了互聯(lián)網(wǎng)上的一道獨(dú)特風(fēng)景。大數(shù)據(jù)可能來(lái)源于我們每個(gè)人,例如,我們上網(wǎng)聊天、瀏覽網(wǎng)頁(yè)、購(gòu)買(mǎi)貨物、發(fā)表文章……我們?cè)诨ヂ?lián)網(wǎng)上的每一步操作都可以產(chǎn)生數(shù)據(jù),這些數(shù)據(jù)集合在一起就是一個(gè)大數(shù)據(jù)。

大數(shù)據(jù)成春節(jié)熱門(mén)詞語(yǔ)

互聯(lián)網(wǎng)的出現(xiàn)拉近了人們之間的距離,吐槽也成為了互聯(lián)網(wǎng)上的一道獨(dú)特風(fēng)景。每一年春節(jié)都會(huì)將吐槽推向高潮,無(wú)論是吐槽春晚,還是吐槽12306等等,總之人們對(duì)于吐槽是百“吐”不厭。在互聯(lián)網(wǎng)上吐槽就會(huì)產(chǎn)生各種各樣的數(shù)據(jù)了,而這些數(shù)據(jù)匯集到一起,那就是人們經(jīng)常提到的大數(shù)據(jù)。今天我們就來(lái)吐槽一下這個(gè)當(dāng)下的IT熱點(diǎn)。

網(wǎng)圈你我他 從春節(jié)看大數(shù)據(jù)的無(wú)孔不入

談到大數(shù)據(jù),可能有人會(huì)問(wèn),大數(shù)據(jù)是個(gè)什么東西?大數(shù)據(jù)跟我們每個(gè)人有什么關(guān)系?

簡(jiǎn)單來(lái)說(shuō),大數(shù)據(jù)就是各種各樣的數(shù)據(jù)的一個(gè)集合。“我你他”都可能是這個(gè)數(shù)據(jù)的創(chuàng)造者,當(dāng)然我們還可能是這些數(shù)據(jù)的受益者。例如,“百度遷徙”就是利用大數(shù)據(jù)技術(shù),對(duì)其擁有的LBS(基于地理位置的服務(wù))大數(shù)據(jù)進(jìn)行計(jì)算分析,全程、動(dòng)態(tài)、即時(shí)、直觀地展現(xiàn)中國(guó)春節(jié)前后人口大遷徙的軌跡與特征。

如今,人們吐槽春晚節(jié)目的熱度更勝看春晚的熱情,然而蘿卜白菜可以說(shuō)各有所愛(ài),對(duì)于各個(gè)節(jié)目如何很難有個(gè)讓大家比較認(rèn)可的評(píng)價(jià)。然而,在春晚完成后,騰訊公布了再各個(gè)節(jié)目演出時(shí)的QQ消息量。

QQ消息流量曲線圖(來(lái)自騰訊微博)

在歌曲“情非得已”的時(shí)候,庾澄慶,李敏鎬的表演時(shí)用戶發(fā)QQ信息量最少,可以從側(cè)面反映出當(dāng)時(shí)更多的人是在看節(jié)目而減少了發(fā)信息的數(shù)量。兩個(gè)不相干的數(shù)據(jù)也能夠分析出有價(jià)值的信息。這種通過(guò)對(duì)互聯(lián)網(wǎng)消息的收集、分析得出來(lái)的關(guān)注度結(jié)果可能更能體現(xiàn)用戶的意愿。

大數(shù)據(jù)尚處在發(fā)展初期,但是大數(shù)據(jù)的優(yōu)勢(shì)已經(jīng)盡顯,在我們的生活中,工作中,大數(shù)據(jù)都在發(fā)生著巨大的作用。未來(lái),大數(shù)據(jù)將為電商業(yè)、零售業(yè)、醫(yī)療行業(yè)、安全以及教育等領(lǐng)域帶來(lái)巨大的變化。醫(yī)生可以根據(jù)個(gè)人的DNA為病人定制自己的診療建議,預(yù)測(cè)病人身體未來(lái)健康走勢(shì);電商網(wǎng)站可以利用人們?yōu)g覽網(wǎng)站的信息以及各種數(shù)據(jù)對(duì)其購(gòu)買(mǎi)進(jìn)行預(yù)測(cè),進(jìn)行有針對(duì)性的推薦;等等!

互聯(lián)網(wǎng)讓我們每個(gè)人都相互關(guān)聯(lián),大數(shù)據(jù)就是我們聯(lián)系產(chǎn)生的數(shù)據(jù),而對(duì)這些數(shù)據(jù)進(jìn)行有效的分析,將給我們的生活和工作帶來(lái)巨大的改善,可以說(shuō)是取之于民,用之于民。下面我們就來(lái)詳細(xì)介紹一下大數(shù)據(jù)的具體性質(zhì)。

大數(shù)據(jù)從何而來(lái)?

數(shù)據(jù)由來(lái)已久,但大數(shù)據(jù)真正成為行業(yè)流行詞語(yǔ)還是在2009年,隨著互聯(lián)網(wǎng)、移動(dòng)設(shè)備、云計(jì)算等技術(shù)的發(fā)展,數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。美國(guó)的互聯(lián)網(wǎng)數(shù)據(jù)中心調(diào)查顯示,數(shù)據(jù)如今每?jī)赡昃蜁?huì)翻一番,目前世界上90%以上的數(shù)據(jù)是近幾年才產(chǎn)生的。

網(wǎng)圈你我他 從春節(jié)看大數(shù)據(jù)的無(wú)孔不入

大數(shù)據(jù)從何而來(lái)?

大數(shù)據(jù)可能來(lái)源于我們每個(gè)人,例如,我們上網(wǎng)聊天、瀏覽網(wǎng)頁(yè)、購(gòu)買(mǎi)貨物、發(fā)表文章……我們?cè)诨ヂ?lián)網(wǎng)上的每一步操作都可以產(chǎn)生數(shù)據(jù),這些數(shù)據(jù)集合在一起就是一個(gè)大數(shù)據(jù)。

但大數(shù)據(jù)的數(shù)據(jù)又并非單純指人們?cè)诨ヂ?lián)網(wǎng)上產(chǎn)生的信息,工業(yè)設(shè)備、汽車(chē)制造、儀表等都會(huì)產(chǎn)生數(shù)據(jù),而這些東西與我們?nèi)祟?lèi)產(chǎn)生的信息也都可以稱之為大數(shù)據(jù)。

大數(shù)據(jù)有何變化?

為何以前產(chǎn)生的數(shù)據(jù)叫數(shù)據(jù),如今叫大數(shù)據(jù)呢?

其實(shí)數(shù)據(jù)市場(chǎng)正在發(fā)生著一系列的變化。例如,數(shù)據(jù)生產(chǎn)速度越來(lái)越快;數(shù)據(jù)量方面也如今已經(jīng)超過(guò)了TB級(jí)到PB級(jí)甚至ZB級(jí);數(shù)據(jù)關(guān)系也已經(jīng)從簡(jiǎn)單發(fā)展到復(fù)雜,數(shù)據(jù)來(lái)源已經(jīng)從數(shù)據(jù)錄入轉(zhuǎn)變到各種來(lái)源,數(shù)據(jù)模型也從結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)變?yōu)榘虢Y(jié)構(gòu)化或非結(jié)構(gòu)化……這一系列的變化催生出了大數(shù)據(jù)時(shí)代。

大數(shù)據(jù)時(shí)代的來(lái)臨,使得與傳統(tǒng)數(shù)據(jù)相匹配的應(yīng)用隨之發(fā)生改變。大數(shù)據(jù)產(chǎn)生的速度越來(lái)越快,這就要求我們的存儲(chǔ)設(shè)備的存儲(chǔ)速度要更快;大數(shù)據(jù)量越來(lái)越大,這就要求我們的存儲(chǔ)設(shè)備要越來(lái)越大,要能夠滿足數(shù)據(jù)爆炸式增長(zhǎng)所帶來(lái)的侵襲;而數(shù)據(jù)類(lèi)型開(kāi)始出現(xiàn)非結(jié)構(gòu)化數(shù)據(jù),這就對(duì)數(shù)據(jù)的處理平臺(tái)、架構(gòu)平臺(tái)等等都帶來(lái)挑戰(zhàn)。

大數(shù)據(jù)有何價(jià)值?

大數(shù)據(jù)的數(shù)據(jù)數(shù)量很大,但這并不是大數(shù)據(jù)的全部,大數(shù)據(jù)還包含著巨大的價(jià)值。有人將大數(shù)據(jù)比作科技時(shí)代的原油,能夠讓我們從這些數(shù)據(jù)資源中獲取我們需要的“價(jià)值”,推動(dòng)我們的發(fā)展。這樣才是大數(shù)據(jù)的真正價(jià)值,我們需要從數(shù)據(jù)資源中發(fā)掘這些數(shù)據(jù)的價(jià)值,來(lái)我們服務(wù),來(lái)為社會(huì)進(jìn)步提供新的動(dòng)力。

雖然大數(shù)據(jù)尚處在發(fā)展初期,但利用大數(shù)據(jù)來(lái)發(fā)現(xiàn)價(jià)值的案例如今已經(jīng)很多。例如,京東商城中的猜你喜歡欄目,就是對(duì)用戶搜索產(chǎn)品、瀏覽頁(yè)面等信息進(jìn)行分析,然后推薦用戶可能感興趣的產(chǎn)品。國(guó)外某零售商,會(huì)通過(guò)對(duì)銷(xiāo)售額、定價(jià)以及經(jīng)濟(jì)學(xué)、人口統(tǒng)計(jì)學(xué)和天氣數(shù)據(jù)進(jìn)行分析,藉此在特定的連鎖店中選擇合適的上架產(chǎn)品,并基于這些分析來(lái)判定商品減價(jià)的時(shí)機(jī)。

大數(shù)據(jù)需去其糟粕取精華

不可否認(rèn),大數(shù)據(jù)具有著巨大的價(jià)值,但是筆者看來(lái),大數(shù)據(jù)如今看來(lái)更像是一個(gè)大餅,但并沒(méi)有我們想象的那么美好,在浩瀚繁雜的數(shù)據(jù)中發(fā)展對(duì)用戶有價(jià)值的信息,這就好比在垃圾場(chǎng)撿拾寶貝一樣,垃圾永遠(yuǎn)都比寶貝多。

大數(shù)據(jù)包羅萬(wàn)象

大數(shù)據(jù)包羅萬(wàn)象

在生活中,各種垃圾數(shù)據(jù)無(wú)處不在,例如,網(wǎng)絡(luò)水軍的存在就是對(duì)數(shù)據(jù)價(jià)值的一種深深的傷害。例如,在去年夏天上映的某國(guó)產(chǎn)電影,觀看后的觀眾對(duì)其評(píng)價(jià)極低,但是在豆瓣等影評(píng)網(wǎng)上,該電影宣傳方雇傭了大批水軍進(jìn)行刷分,結(jié)果造成了評(píng)分很高,口碑很差,最后主辦方也不得不得出面道歉息事寧人。這些網(wǎng)絡(luò)水軍產(chǎn)生的數(shù)據(jù)可以說(shuō)毫無(wú)意義。

當(dāng)然,類(lèi)似的例子還有很多,淘寶賣(mài)家刷鉆,微博用戶刷粉,網(wǎng)站論壇刷回復(fù)等等,這些網(wǎng)絡(luò)垃圾無(wú)處不在,大數(shù)據(jù)如今發(fā)展還并不完善, 還需要針對(duì)這些垃圾數(shù)據(jù)推出十分有效的方法來(lái)加以鑒別。

大數(shù)據(jù)時(shí)代的隱私問(wèn)題

大數(shù)據(jù)具有巨大的價(jià)值,我們可以通過(guò)對(duì)圖像、文本以及視頻等信息的挖掘,甚至可以判斷出一個(gè)人的整天的活動(dòng),甚至能夠預(yù)判這個(gè)人即將要做的事情,這個(gè)時(shí)候大數(shù)據(jù)分析就遇到了一個(gè)人們比較關(guān)心的問(wèn)題,那就是隱私。

大數(shù)據(jù)的隱私問(wèn)題

電話推銷(xiāo)的事很多,人們對(duì)這些事件已經(jīng)非常反感,這些都是隱私被透露的結(jié)果,有的犯罪分子甚至利用從互聯(lián)網(wǎng)上得到的信息來(lái)實(shí)施犯罪,這些都是大數(shù)據(jù)時(shí)代需要解決的問(wèn)題。目前,針對(duì)數(shù)據(jù)保護(hù)方面的相關(guān)法律法規(guī)并不完善,個(gè)人信息在大數(shù)據(jù)時(shí)代泄露的時(shí)間比比皆是,需要有一個(gè)完善的保護(hù)機(jī)制來(lái)保護(hù)大數(shù)據(jù)時(shí)代的個(gè)人隱私。

大數(shù)據(jù)不是神 以輔為主

大數(shù)據(jù)時(shí)代,每一個(gè)Byte中都藏有不可思議的數(shù)據(jù)信息,對(duì)這些信息進(jìn)行整理歸納,可以提煉出一些信息,這些信息可以幫助企業(yè)或公司作出更好的決定。但是我們也不能盲目的相信這些信息,除了上述提到的數(shù)據(jù)真實(shí)性問(wèn)題外,就是市場(chǎng)變化是不可預(yù)期的,決策者的創(chuàng)造性思維并不能通過(guò)數(shù)據(jù)得以體現(xiàn),相反,數(shù)據(jù)在壓制創(chuàng)新。

最顯而易見(jiàn)的例子,就是當(dāng)年諾基亞和摩托羅拉在手機(jī)市場(chǎng)如日中天的時(shí)候,那首關(guān)于這兩款手機(jī)的數(shù)據(jù)可以說(shuō)是滿天飛。但當(dāng)ios和安裝這些新勢(shì)力崛起的時(shí)候,這兩家手機(jī)霸主被打的潰不成軍,最后落得雙雙被收購(gòu)的下場(chǎng),所以說(shuō),在市場(chǎng)上,大數(shù)據(jù)分析只能作為輔助,市場(chǎng)瞬息萬(wàn)變,還需要時(shí)刻關(guān)注市場(chǎng)上的變化,做出最正確的判斷。

文章總結(jié):

大數(shù)據(jù)時(shí)代來(lái)臨,大數(shù)據(jù)價(jià)值也已經(jīng)得到認(rèn)可,但如何在浩如煙海的大數(shù)據(jù)中發(fā)覺(jué)到有價(jià)值的信息是接下來(lái)面對(duì)的考驗(yàn),同時(shí)大數(shù)據(jù)的相關(guān)法律法規(guī)也需要不斷完善。而在激烈的市場(chǎng)競(jìng)爭(zhēng)中,大數(shù)據(jù)并不能為主,瞬息萬(wàn)變的市場(chǎng),還需要我們?nèi)祟?lèi)的大腦做出最準(zhǔn)確的判斷。大數(shù)據(jù)只能夠發(fā)現(xiàn)過(guò)去,不能夠左右未來(lái)!

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)