近兩年,“大數(shù)據(jù)”已成為業(yè)界和學(xué)術(shù)界舌尖上的熱詞,從央視的春運(yùn)遷徙圖到美國(guó)奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究與開(kāi)發(fā)計(jì)劃;從兩會(huì)期間的兩會(huì)大數(shù)據(jù)到預(yù)報(bào)旅游熱點(diǎn),“大數(shù)據(jù)”被人們推到了一個(gè)前所未有的高度。但是,在歡呼和激動(dòng)了數(shù)年后,我們更需要認(rèn)真思考如何利用大數(shù)據(jù)、如何正確挖掘出大數(shù)據(jù)的價(jià)值。2014年底,IT168記者與Informatica中國(guó)區(qū)的幾位資深技術(shù)專(zhuān)家,就大數(shù)據(jù)的現(xiàn)狀、思維、技術(shù)和發(fā)展等問(wèn)題進(jìn)行了深入探討與剖析。
大數(shù)據(jù)現(xiàn)狀:思路已有,離成功尚遠(yuǎn)
大數(shù)據(jù)真正開(kāi)始做始于去年,通過(guò)兩年的嘗試、積累,思路已有,但離成功還很遠(yuǎn)。一些國(guó)外的大數(shù)據(jù)案例、大數(shù)據(jù)故事無(wú)非是商務(wù)智能(BI)、數(shù)據(jù)倉(cāng)庫(kù)(BW)的改頭換面,新瓶裝舊酒而已。就如數(shù)據(jù)倉(cāng)庫(kù)一樣,建設(shè)了近20年才讓每個(gè)企業(yè)真正承認(rèn)其價(jià)值,大數(shù)據(jù)也不能期望很快就獲得成功,需要一個(gè)沉淀時(shí)間。在Informatica技術(shù)專(zhuān)家看來(lái),如果要給個(gè)期限,那這個(gè)時(shí)間至少需要10年。
大數(shù)據(jù)發(fā)展可以用一個(gè)波浪式的圖來(lái)形容,現(xiàn)在還處于第一個(gè)峰頂,必須經(jīng)過(guò)低谷再升起,幾輪反復(fù)。這期間,大家可能會(huì)看到許多大數(shù)據(jù)真實(shí)的案例,不管是成功的還是失敗的都會(huì)給我們啟示。只要嘗試了就不一定完全失敗,就如數(shù)據(jù)倉(cāng)庫(kù)建設(shè),幾年前很多報(bào)告都顯示80%的項(xiàng)目失敗,但仔細(xì)分析后發(fā)現(xiàn),只是在發(fā)展過(guò)程當(dāng)中沒(méi)有達(dá)到預(yù)期價(jià)值而已。前人淌過(guò)的路,后邊的人可以少走一些雷區(qū)。
大數(shù)據(jù)應(yīng)用的必要前提:數(shù)據(jù)治理
越來(lái)越多的行業(yè)和企業(yè)開(kāi)始關(guān)注數(shù)據(jù)這一企業(yè)核心資產(chǎn),但對(duì)于數(shù)據(jù)如何治理,如何管控卻沒(méi)有合適的方法體系的產(chǎn)品支撐,大數(shù)據(jù)就必須以數(shù)據(jù)治理為基礎(chǔ),沒(méi)有數(shù)據(jù)治理談不上大數(shù)據(jù),數(shù)據(jù)家家都有,但不治理根本用不上,而這些恰恰是Informatica公司的核心競(jìng)爭(zhēng)力所在。
在紛繁雜亂的大數(shù)據(jù)面前,沒(méi)有良好的數(shù)據(jù)質(zhì)量,沒(méi)有更加良好的數(shù)據(jù)管理策略,用于業(yè)務(wù)應(yīng)用的投資將隨著應(yīng)用組合在企業(yè)內(nèi)的增長(zhǎng)和擴(kuò)展而日漸縮水。做大數(shù)據(jù),90%的企業(yè)走的路子都不可能實(shí)現(xiàn)放煙花式的很炫效果,他們首先還是要踏踏實(shí)實(shí)地解決數(shù)據(jù)整合、數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理等問(wèn)題。Informatica技術(shù)專(zhuān)家建議道。
大數(shù)據(jù)市場(chǎng):安全先行
在生活中我們常會(huì)有這樣的經(jīng)歷,瀏覽新聞網(wǎng)頁(yè)時(shí)跳出的淘寶推薦商品竟然是你想買(mǎi)的東西,在家里休息時(shí)會(huì)突然接到各種保險(xiǎn)推銷(xiāo)電話。對(duì)于這種司空見(jiàn)慣的信息數(shù)據(jù)泄露人們似乎習(xí)以為常。而當(dāng)更加隱私、敏感的12306數(shù)據(jù)的泄露事件,還是讓不少人感到十分后怕。進(jìn)入大數(shù)據(jù)時(shí)代后,數(shù)據(jù)將更加透明,數(shù)據(jù)信息安全的挑戰(zhàn)變得越來(lái)越嚴(yán)峻。
近兩年,國(guó)家政府著重強(qiáng)調(diào)信息安全,企業(yè)都非常關(guān)注數(shù)據(jù)安全問(wèn)題。敏感的個(gè)人、財(cái)務(wù)和健康信息受到多種不同行業(yè)和政府?dāng)?shù)據(jù)隱私法規(guī)的管制,如果企業(yè)無(wú)法保持?jǐn)?shù)據(jù)隱私,他們就會(huì)面臨嚴(yán)重的財(cái)務(wù)和法律懲罰,同時(shí)還會(huì)在客戶(hù)與市場(chǎng)信心方面蒙受可觀損失。
IT168記者了解到,2014年,Informatica數(shù)據(jù)安全方案因滿(mǎn)足市場(chǎng)熱點(diǎn)需求而成為業(yè)務(wù)增長(zhǎng)較快的單元。大數(shù)據(jù)的發(fā)展還有許多亟待解決的難題,但無(wú)疑解決大家最擔(dān)心的數(shù)據(jù)安全問(wèn)題應(yīng)當(dāng)是重中之重。
大數(shù)據(jù)思維:允許數(shù)據(jù)的不精確性
以前,由于可獲得的數(shù)據(jù)量比較小,為此我們必須盡量準(zhǔn)確的記錄下所獲得的所有數(shù)據(jù),做出個(gè)KPI供領(lǐng)導(dǎo)參考,采樣過(guò)程的精確度被放在重要的地位。顯然,這種對(duì)精確性的執(zhí)著是信息缺乏時(shí)代的產(chǎn)物。大數(shù)據(jù)時(shí)代,數(shù)據(jù)的收集問(wèn)題不再成為困擾,采集全量的數(shù)據(jù)成為現(xiàn)實(shí),但海量數(shù)據(jù)的涌現(xiàn)一定會(huì)增加數(shù)據(jù)的混亂性且造成結(jié)果的不準(zhǔn)確性,如果仍執(zhí)迷精確性,那么將無(wú)法應(yīng)對(duì)這個(gè)新的時(shí)代。
大數(shù)據(jù)通常都用概率說(shuō)話,且大數(shù)據(jù)處理之前是可以對(duì)之進(jìn)行清洗從而減少部分的錯(cuò)誤數(shù)據(jù)。所以,與致力于避免錯(cuò)誤相比,對(duì)錯(cuò)誤的包容將會(huì)帶給我們更多信息。其實(shí),允許數(shù)據(jù)的混雜性和容許結(jié)果的不精確性才是我們擁抱大數(shù)據(jù)的正確態(tài)度,只要做到10%準(zhǔn)確結(jié)果,能夠達(dá)成業(yè)務(wù)數(shù)十倍的增長(zhǎng)即可,這是真正的大數(shù)據(jù)思維,未來(lái)我們應(yīng)當(dāng)習(xí)慣這種思維。
大數(shù)據(jù)思維:大數(shù)據(jù)不是單純的技術(shù)問(wèn)題
大數(shù)據(jù)不是一個(gè)純技術(shù)問(wèn)題,會(huì)包含很多管理、業(yè)務(wù)方面的內(nèi)容。并不是說(shuō),購(gòu)買(mǎi)了一套數(shù)據(jù)挖掘工具,組建了一個(gè)Hadoop環(huán)境,就能稱(chēng)為做了大數(shù)據(jù)。除了設(shè)備、技術(shù)上的投資,企業(yè)還需要從組織結(jié)構(gòu)、人員意識(shí)、管理方式、企業(yè)文化等方面都有一個(gè)轉(zhuǎn)變。大數(shù)據(jù)的前期準(zhǔn)備工作很多,這是一種思維上的全面變革。大家都是摸著石頭過(guò)河,走一步想一想,然后再走一步再想,直到最后成功上岸。
在這樣的一個(gè)過(guò)程當(dāng)中,人們的思想還要跟隨大數(shù)據(jù)技術(shù)的發(fā)展不斷更新,同時(shí)也要對(duì)一些過(guò)去的想法進(jìn)行糾正和改變。當(dāng)然,這個(gè)時(shí)間不會(huì)像以前數(shù)據(jù)倉(cāng)庫(kù)那樣花費(fèi)20年,大數(shù)據(jù)可能會(huì)縮短一半時(shí)間。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)時(shí)代是從無(wú)到有,而大數(shù)據(jù)時(shí)代是從有到更好,人們已經(jīng)從建設(shè)數(shù)據(jù)倉(cāng)庫(kù)中積累了很多的經(jīng)驗(yàn)、技術(shù)、教訓(xùn),甚至有效的管理方法,可以很好地借鑒。
大數(shù)據(jù)思維:大數(shù)據(jù)技術(shù)解決的不僅僅是非結(jié)構(gòu)化數(shù)據(jù)問(wèn)題
新興的大數(shù)據(jù)技術(shù)提供了非常有效的手段,讓人們可以花很低的代價(jià)去分析、處理非結(jié)構(gòu)化的數(shù)據(jù),但是這些非結(jié)構(gòu)化數(shù)據(jù)有一個(gè)特點(diǎn),就是密度還很低,它遠(yuǎn)不如結(jié)構(gòu)化數(shù)據(jù)有非常高的價(jià)值密度,可能100G的非結(jié)構(gòu)化數(shù)據(jù),最終有效的才1G。這表明,非結(jié)構(gòu)化數(shù)據(jù)是對(duì)數(shù)據(jù)完整度的很大補(bǔ)充,但是并不能說(shuō)大數(shù)據(jù)就是做非結(jié)構(gòu)化數(shù)據(jù),其實(shí)最終的目的還是要發(fā)掘數(shù)據(jù)價(jià)值。另外一方面,傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)能夠完成現(xiàn)有結(jié)構(gòu)化數(shù)據(jù)90%的利用程度,在這種背景下,人們才會(huì)把大數(shù)據(jù)的焦點(diǎn)放在對(duì)非結(jié)構(gòu)化的處理上。
當(dāng)前,非結(jié)構(gòu)化數(shù)據(jù)大量產(chǎn)生,如機(jī)器日志、傳感器的數(shù)據(jù)、社交媒體的數(shù)據(jù),都是以非結(jié)構(gòu)化形式存在,而傳統(tǒng)的方式對(duì)這些數(shù)據(jù)的處理能力比較欠缺。如果用木桶效應(yīng)來(lái)比喻,首先要把這個(gè)短板補(bǔ)上,與結(jié)構(gòu)化數(shù)據(jù)處理的效率和能力齊平之后,更多的就是圍繞數(shù)據(jù)如何使用來(lái)進(jìn)行更深一步的研究。還要認(rèn)識(shí)到一點(diǎn),大數(shù)據(jù)技術(shù)能夠處理半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù),不過(guò),這些數(shù)據(jù)總是要轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)才能分析,算法可能輸入的是非結(jié)構(gòu)化的,如視頻信息,但是剛進(jìn)來(lái)不到10秒就變成結(jié)構(gòu)化,最后顯示出來(lái)的還是表格式結(jié)構(gòu)化的結(jié)果。