合理開發(fā)運(yùn)用大數(shù)據(jù)成技術(shù)難點(diǎn)

責(zé)任編輯:editor01

作者:機(jī)房360

2012-10-11 07:10:24

企業(yè)經(jīng)營大數(shù)據(jù),往往只是包括收集大量的數(shù)據(jù),然后尋找其模式和對其進(jìn)行分析,這些是由廉價(jià)的存儲,豐富的傳感器和新的軟件所導(dǎo)致的。

企業(yè)經(jīng)營大數(shù)據(jù),往往只是包括收集大量的數(shù)據(jù),然后尋找其模式和對其進(jìn)行分析,這些是由廉價(jià)的存儲,豐富的傳感器和新的軟件所導(dǎo)致的。在不到十年的時(shí)間里,這已經(jīng)成為了一個(gè)價(jià)值數(shù)十億美元的產(chǎn)業(yè)。在這樣的一個(gè)大數(shù)據(jù)增長飛速的時(shí)期,我們很容易忽略該行業(yè)曾經(jīng)在之前已探明的相關(guān)標(biāo)準(zhǔn)。直到這時(shí),許多客戶可能只是在浪費(fèi)了很多的錢。

而其實(shí),企業(yè)最重要的工作應(yīng)該是要針對解決一些非常困難的問題方面訓(xùn)練一批核心工作人員,如先進(jìn)的統(tǒng)計(jì)軟件,以確保企業(yè)數(shù)據(jù)的質(zhì)量和運(yùn)營效率。在使用數(shù)據(jù)的過程中可能需要用到各種各樣廣泛的知識、以及各種新的管理方法,更好的工具讀取企業(yè)和個(gè)人信息的隱私保障。

正在發(fā)生的數(shù)量龐大的任務(wù)是一個(gè)很好的指標(biāo),即使是炒作,大數(shù)據(jù)確實(shí)是一個(gè)大問題。不久前,一批技術(shù)人員聚集在由美國加州大學(xué)伯克利分校主辦的一個(gè)名為iSchool的論壇上,談?wù)撚嘘P(guān)這些工作的方式。他們談?wù)摰侥壳盀橹沟倪M(jìn)展情況,并討論了一些好的想法和以及企業(yè)下一步的發(fā)展方向。

在某些方面,大數(shù)據(jù)的管理是涉及到各種奇怪的新的數(shù)據(jù),如從移動(dòng)電話到社會媒體的更新。這在最初很難對其進(jìn)行準(zhǔn)確的歸類,而且其可以許多不同運(yùn)用,從廣告到流量管理。所謂非結(jié)構(gòu)化數(shù)據(jù)庫的選擇目前在Hadoop已經(jīng)很清楚了。

不同來源的數(shù)據(jù)質(zhì)量仍然是一個(gè)嚴(yán)重的問題,需要說服各種企業(yè)和組織讓別人看到數(shù)據(jù),可能創(chuàng)造更有價(jià)值的共同算法。“我已經(jīng)試圖為了能夠看到這些數(shù)據(jù)進(jìn)行付費(fèi),但企業(yè)更容易決定不分享這些數(shù)據(jù)。”一家旨在持有大量在線數(shù)據(jù)的Factual公司的創(chuàng)始人吉爾艾爾巴茨表示。“獲得數(shù)據(jù)唯一的辦法就是要承擔(dān)那些對他們來說是有價(jià)值的數(shù)據(jù)的交換風(fēng)險(xiǎn)。”

許多企業(yè)對于公開數(shù)據(jù)存在恐懼心理,他說,他們擔(dān)心被競爭對手了解到他們的機(jī)密。艾爾巴茨先生認(rèn)為,發(fā)展“de-identifiers”是一項(xiàng)很好的業(yè)務(wù),可以使數(shù)據(jù)匿名,保護(hù)企業(yè)隱私和專業(yè)成本。

另一個(gè)數(shù)據(jù)改善業(yè)務(wù)是在線轉(zhuǎn)移舊數(shù)據(jù)。一家稱為Captricity的公司旨在利用亞馬遜土耳其機(jī)器人(AmazonMechanicalTurk)服務(wù)捕獲手機(jī)相機(jī)的圖像,以便把舊的手寫文件轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)庫。該公司早期的業(yè)務(wù)來自非洲和印度的政府和慈善機(jī)構(gòu)的網(wǎng)站,但這無法解釋為什么說大多數(shù)病歷是沒有價(jià)值的。該公司估計(jì),如果有人不嫌麻煩,把這些抄下來,這是一個(gè)很好的假設(shè)其是有價(jià)值的數(shù)據(jù)對方法。

還有其他企業(yè)試圖把神秘的大數(shù)據(jù)納入主流,使用易于統(tǒng)計(jì)的工具和新方法可視化數(shù)據(jù),使它更容易理解。類似于ClearStory和Platfora這樣的企業(yè)想讓它為企業(yè)服務(wù)成為可能。Platfora首席執(zhí)行官BenWerther說:“我們正處在大數(shù)據(jù)的前工業(yè)化時(shí)代。”著名的流動(dòng)風(fēng)向圖的創(chuàng)造者 MartinWattenberg,現(xiàn)在供職于谷歌,談到了數(shù)據(jù)成果改革設(shè)計(jì)的必要性。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號