大數(shù)據(jù)的新算法:簡(jiǎn)化數(shù)據(jù)分類

責(zé)任編輯:editor006

2015-05-21 16:29:04

摘自:Science Daily

簇分析就是用來(lái)有效地鑒別密集型區(qū)域,基于基本的準(zhǔn)則將數(shù)據(jù)分為一定數(shù)量的重要子集合,每個(gè)子集合對(duì)應(yīng)一種分類。與類似的方法相比,我們的算法能夠有效地剔除異類,要知道這些異類的數(shù)據(jù)點(diǎn)與其他數(shù)據(jù)存在較大差異是會(huì)損毀分析結(jié)果的。

如今,大數(shù)據(jù)時(shí)代悄然來(lái)臨。專家用“大數(shù)據(jù)”的表達(dá)描述大量信息,比如數(shù)十億人在計(jì)算機(jī)、智能手機(jī)以及其他電子設(shè)備上分享的照片、音頻、文本等數(shù)據(jù)。當(dāng)前這種模式為我們的未來(lái)展現(xiàn)了前所未有的愿景:比如追蹤流感疫情蔓延,實(shí)時(shí)監(jiān)控道路交通,處理緊急自然災(zāi)害等。對(duì)人們而言,想要利用這些龐大的數(shù)據(jù),首先必須要了解它們,而在此之前我們需要一種快捷有效自動(dòng)的方式對(duì)數(shù)據(jù)進(jìn)行分類。

大數(shù)據(jù)

其中一種最為常用的系統(tǒng),是一系列稱之為簇分析的統(tǒng)計(jì)技術(shù),這種技術(shù)能依據(jù)數(shù)據(jù)的“相似性”進(jìn)行數(shù)據(jù)分組。來(lái)自意大利國(guó)際高等研究院(SISSA)的兩位研究者基于簡(jiǎn)單且強(qiáng)大的原理設(shè)計(jì)了一種簇分析方法,被證明可以非常有效地解決一些大數(shù)據(jù)分析中遇到的主要典型問(wèn)題。

數(shù)據(jù)集合可以視為多維空間的云數(shù)據(jù)點(diǎn)。這些點(diǎn)呈現(xiàn)不同分配方式:或稀疏地分布在一個(gè)區(qū)域,或密集地分布在另外一個(gè)區(qū)域。簇分析就是用來(lái)有效地鑒別密集型區(qū)域,基于基本的準(zhǔn)則將數(shù)據(jù)分為一定數(shù)量的重要子集合,每個(gè)子集合對(duì)應(yīng)一種分類。

“以一個(gè)面部圖像數(shù)據(jù)庫(kù)為例,”SISSA統(tǒng)計(jì)與生物物理系教授Alessandro Laio說(shuō),“數(shù)據(jù)庫(kù)可能包含同一個(gè)人的多張照片,簇分析可以用來(lái)歸類同一人的所有照片。這種類型的分析可用自動(dòng)臉部識(shí)別系統(tǒng)來(lái)完成。”

“我們?cè)囍O(shè)計(jì)一種較現(xiàn)有方法更為有效的算法,來(lái)解決簇分析中典型的問(wèn)題。”Laio繼續(xù)補(bǔ)充說(shuō)。

“我們的方法基于一種新的鑒定簇中心,比如子集合,”另一位研究者Alex Rodriguez解釋道,“試想這樣的情形,在無(wú)法訪問(wèn)地圖中,卻不得不鑒定全球所有的城市時(shí),這無(wú)疑是一個(gè)艱巨的任務(wù)。”Rodriguez進(jìn)一步解釋道,“因此我們?cè)谧鲆环N探索式的識(shí)別,嘗試尋找一條簡(jiǎn)單的規(guī)則或是一種捷徑來(lái)達(dá)成目標(biāo)。”

“為了確定一個(gè)地方是否達(dá)到城市級(jí)別規(guī)模,我們可以讓當(dāng)?shù)鼐用裼?jì)數(shù)自己的‘鄰居’,換句話說(shuō),他房子的100米內(nèi)住了多少人。一旦得到這個(gè)數(shù)字,我們繼續(xù)去確認(rèn)每一個(gè)居民,他們身邊最近的擁有最多鄰居數(shù)的居民。借助這兩組數(shù)據(jù)結(jié)果交叉的部分,就可以推斷每個(gè)人所在居住區(qū)域人口的稠密程度,以及擁有鄰居數(shù)最多的兩家間距。就全球人口而言,通過(guò)自動(dòng)交叉檢測(cè)這些數(shù)據(jù),我們能識(shí)別代表簇狀中心的個(gè)體,這些個(gè)體就是不同的城市。” Laio解釋道。

“我們的算法能夠精確地完成此類計(jì)算,也適用于其他場(chǎng)景,”Rodriguez進(jìn)一步補(bǔ)充說(shuō),此算法表現(xiàn)相當(dāng)優(yōu)異。Rodriguez對(duì)此有著深刻理解:“借用面部數(shù)據(jù)檔案Olivetti Face數(shù)據(jù)庫(kù),我們測(cè)試了自己的數(shù)學(xué)模型,并獲得了滿意的結(jié)果。此系統(tǒng)能夠正確地識(shí)別大部分個(gè)體,從不產(chǎn)生假陽(yáng)性結(jié)果,這意味著在某些情況下,它可能無(wú)法識(shí)別事物,但絕不會(huì)混淆一個(gè)個(gè)體與另一個(gè)個(gè)體。與類似的方法相比,我們的算法能夠有效地剔除異類,要知道這些異類的數(shù)據(jù)點(diǎn)與其他數(shù)據(jù)存在較大差異是會(huì)損毀分析結(jié)果的。”

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)