大數(shù)據(jù)是個(gè)什么玩意

責(zé)任編輯:editor005

作者:劉永和

2015-01-26 13:48:34

摘自:科學(xué)網(wǎng)博客

剛看了一篇談大數(shù)據(jù)的貼子http: www thebigdata cn YeJieDongTai 13270 html,該文實(shí)際上講的是有關(guān)情報(bào)檢索、文獻(xiàn)計(jì)量學(xué)的內(nèi)容。說(shuō)實(shí)話,我有很多年以來(lái)比較討厭來(lái)自信息領(lǐng)域的一些名詞:數(shù)字地球、云計(jì)算、決策支持系統(tǒng)、專家系統(tǒng)、復(fù)雜性科學(xué)、數(shù)據(jù)挖掘、大數(shù)據(jù)。

大數(shù)據(jù)

剛看了一篇談大數(shù)據(jù)的貼子http://www.thebigdata.cn/YeJieDongTai/13270.html,該文實(shí)際上講的是有關(guān)情報(bào)檢索、文獻(xiàn)計(jì)量學(xué)的內(nèi)容。不過(guò)文章難懂,抽象,太長(zhǎng),我沒(méi)有完全讀到后面。主要觀點(diǎn)大致是認(rèn)為大數(shù)據(jù)不能代表未來(lái)大趨勢(shì)。出于對(duì)大數(shù)據(jù)這個(gè)詞的敏感,也想談?wù)動(dòng)^點(diǎn)。

說(shuō)實(shí)話,我有很多年以來(lái)比較討厭來(lái)自信息領(lǐng)域的一些名詞:數(shù)字地球、云計(jì)算、決策支持系統(tǒng)、專家系統(tǒng)、復(fù)雜性科學(xué)、數(shù)據(jù)挖掘、大數(shù)據(jù)。這些玩意一個(gè)名詞接著一個(gè)名詞,讓人感覺(jué)總是炒一些新鮮的概念。其實(shí)上述名詞確實(shí)也有一定的意義,但是它們發(fā)揮的科學(xué)推動(dòng)作用不大。我為啥討厭呢,是因?yàn)槲艺J(rèn)為是這些概念的受害者。因?yàn)槲以?jīng)是計(jì)算機(jī)粉絲,當(dāng)然也喜歡學(xué)習(xí)研究這些玩意。最后發(fā)現(xiàn)我自己走了彎路,費(fèi)了很多功夫閱讀這些,什么真正的東西都沒(méi)學(xué)會(huì)。

其實(shí)在這些名詞出現(xiàn)以前,各學(xué)科人們?cè)缇驮谑褂眠@些概念了。如數(shù)字地球,吸引了大批地理界、GIS界的年輕人,最后我們發(fā)現(xiàn)除了會(huì)編幾個(gè)計(jì)算機(jī)圖形可視化的程序外,其它一無(wú)所獲。看著別人發(fā)表著大把的SCI,我們真納悶,天天研究新概念,還不如研究老古懂學(xué)科。后來(lái),我們發(fā)現(xiàn)地球科學(xué)領(lǐng)域的數(shù)據(jù)(遙感、氣象資料)絕對(duì)是海量的,數(shù)據(jù)生產(chǎn)的速度遠(yuǎn)遠(yuǎn)超過(guò)了人們利用數(shù)據(jù)做研究的速度。Google地球也發(fā)布了。實(shí)際上數(shù)字地球確實(shí)是建成了,但很少有人說(shuō)我們是在做數(shù)字地球。不談數(shù)字地球的人做了不少數(shù)字地球的事,天天談數(shù)字地球的人什么也沒(méi)搞出來(lái)。

另外決策支持系統(tǒng)是個(gè)什么玩意,我讀了很多這方面的書,感覺(jué)也很虛無(wú)飄渺。

曾經(jīng)有一個(gè)叫做“元胞自動(dòng)機(jī)”(CA)的概念也很流行在GIS界,但最終也不知如何應(yīng)用該理論,沒(méi)什么好的論文或成果發(fā)表出來(lái)。等到后來(lái),我們了解了水文領(lǐng)域的分布式水文模型、大氣領(lǐng)域的氣候模式、流體領(lǐng)域的CFD和格子Boltzmann模型,發(fā)現(xiàn)按照CA的定義來(lái)看,上述模型其實(shí)都是CA的范疇,只是針對(duì)特定的專業(yè)性了。CA的概念遠(yuǎn)不如上述模型應(yīng)用那樣普及,專業(yè)性也不夠強(qiáng)。不可否認(rèn)的是,確實(shí)有少量學(xué)者開(kāi)發(fā)出了CA模型,有一定的用處。

至于大數(shù)據(jù),以前它相應(yīng)的稱呼應(yīng)該是數(shù)據(jù)挖掘。包括剛剛仙逝的老邪院士為代表的很多遙感學(xué)者,都在分析海量遙感數(shù)據(jù),難道這不是大數(shù)據(jù)?那些從事氣候變化研究的相關(guān)學(xué)者天天都在利用海量資料分析各種氣候指標(biāo),難道不是在數(shù)據(jù)挖掘?可是誰(shuí)又在寫論文時(shí),把大數(shù)據(jù)和數(shù)據(jù)挖掘列為關(guān)鍵詞呢?

當(dāng)然,我也認(rèn)識(shí)到了大數(shù)據(jù)這個(gè)詞主要針對(duì)社會(huì)科學(xué)領(lǐng)域。社科領(lǐng)域的大數(shù)據(jù)特指那些形式雜亂、細(xì)碎、海量如牛毛的聊天信息、Email信息、網(wǎng)頁(yè)新聞信息、廣告信息,以及發(fā)表在期刊上的信息。這些數(shù)據(jù)不像遙感數(shù)據(jù)、大氣數(shù)據(jù)那樣可以以特定數(shù)據(jù)集的形式整理和存放。這就需要研究分析這些資料的人要有特定的數(shù)據(jù)整理能力。一種方法是使用一些軟件,不過(guò)軟件大都是針對(duì)特定形式的數(shù)據(jù)集,如文獻(xiàn)計(jì)量分析軟件。它們不能適應(yīng)于各種雜亂數(shù)據(jù)。另一種方法就是取決于研究者自己的特殊能力了,這樣的好處是不需要拘泥于現(xiàn)有軟件,可以適應(yīng)任何數(shù)據(jù)分析。比如使用python語(yǔ)言來(lái)自行編代碼實(shí)施數(shù)據(jù)搜索。我認(rèn)為自己是具備這個(gè)能力的!我不認(rèn)為我是在吹牛。但是我卻不從事這方面的研究。

雖然python語(yǔ)言不難,會(huì)用它的人極多,但事實(shí)證明不是每個(gè)從事科研的人都最終能學(xué)會(huì)的。

雖然我認(rèn)為大數(shù)據(jù)這個(gè)詞比較土,很一般化,但它在社科領(lǐng)域確實(shí)具有特定的意義。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)