5月17日,IBM正式發(fā)布IBM智慧的分析洞察戰(zhàn)略,從此,IBM完善了從理論、平臺(tái)到行業(yè)實(shí)踐的大數(shù)據(jù)戰(zhàn)略全面部署。
7月24日,“芯動(dòng)大數(shù)據(jù)智領(lǐng)大機(jī)遇”英特爾大數(shù)據(jù)論壇召開(kāi),英特爾Hadoop發(fā)行版首次亮相。
12月4日,IBM在中國(guó)市場(chǎng)正式發(fā)布針對(duì)大數(shù)據(jù)處理的專家集成系統(tǒng)——PureData。PureData具有數(shù)據(jù)處理速度、簡(jiǎn)化程度和成本控制等優(yōu)勢(shì)。
12月13日是首個(gè)“中關(guān)村大數(shù)據(jù)日”,中關(guān)村成立大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟,通過(guò)以大數(shù)據(jù)為主題的各項(xiàng)活動(dòng)搶抓大數(shù)據(jù)發(fā)展機(jī)遇,著手布局大數(shù)據(jù)產(chǎn)業(yè)?! ?/p>
一個(gè)具有犯罪前科的可疑分子正行駛在高架橋上,警察已經(jīng)通過(guò)紅綠燈、攝像頭等采集到他的面部信息了,關(guān)聯(lián)的數(shù)據(jù)庫(kù)馬上就會(huì)顯示該可疑分子的資料。同時(shí),該系統(tǒng)還會(huì)自動(dòng)提示平時(shí)犯罪高發(fā)的時(shí)間和地點(diǎn)、現(xiàn)實(shí)區(qū)域犯罪的幾率,并預(yù)測(cè)該可疑分子可能作案的時(shí)間和地點(diǎn)。于是,警方利用數(shù)據(jù)庫(kù)和高速處理平臺(tái),及時(shí)采取措施、部署行動(dòng)、調(diào)配警力,及時(shí)防止了犯罪案件的發(fā)生。
這是真實(shí)發(fā)生在美國(guó)孟菲斯警察局的一個(gè)案例。在這個(gè)案例中,對(duì)于犯罪分子面部數(shù)據(jù)的收集,以及對(duì)犯罪行為數(shù)據(jù)的分析和預(yù)測(cè),正是大數(shù)據(jù)應(yīng)用之一。
另一個(gè)典型的案例是,2012年成功獲得連任的美國(guó)總統(tǒng)奧巴馬背后,有一個(gè)幾十人數(shù)據(jù)分析與挖掘團(tuán)隊(duì),幫助其在獲取有效選民、投放廣告、募集資金方面發(fā)揮作用。
實(shí)際上,很多看上去與上述案例并無(wú)關(guān)聯(lián)但實(shí)質(zhì)上如出一轍的事情,就在我們身邊時(shí)刻發(fā)生著。當(dāng)你用手機(jī)掃描二維碼,并將其用微博轉(zhuǎn)發(fā)的時(shí)候,你的消費(fèi)習(xí)慣、偏好,甚至你的社交圈子的信息,已經(jīng)被商家的大數(shù)據(jù)分析工具所捕獲,隨后,他們需要做的,就是利用大數(shù)據(jù)對(duì)你的習(xí)慣和需要進(jìn)行精準(zhǔn)的分析、挖掘、展現(xiàn)和預(yù)測(cè),向你提供進(jìn)一步的信息和服務(wù)。
在寬帶化、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計(jì)算的催生下,大數(shù)據(jù)時(shí)代翩然而至。大數(shù)據(jù),正在悄悄地走進(jìn)我們的生活,并改變著我們的未來(lái)。
一個(gè)“數(shù)據(jù)鉆出石油”的時(shí)代
當(dāng)你用一分鐘,看完這行文字的時(shí)候:新浪已經(jīng)發(fā)送了2萬(wàn)條微博,蘋(píng)果已經(jīng)下載了4.7萬(wàn)次應(yīng)用,淘寶已經(jīng)賣出了6萬(wàn)件商品,人人網(wǎng)發(fā)生了30萬(wàn)次訪問(wèn),百度產(chǎn)生了90萬(wàn)次搜索查詢。
2010年印刷版《大英百科全書(shū)》,32冊(cè),重達(dá)58.5公斤。然而,它的全部?jī)?nèi)容,還裝不滿一個(gè)4G的U盤(pán)。有鑒于此,《大英百科全書(shū)》出版社2012年3月對(duì)外宣布,不再推出印刷版,內(nèi)容全面數(shù)字化。
海量數(shù)據(jù)已經(jīng)成為今天人類生存環(huán)境的突出特點(diǎn)。根據(jù)IDC(國(guó)際數(shù)據(jù)公司)的統(tǒng)計(jì),2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到1.8ZB(1ZB等于1萬(wàn)億GB,1.8ZB也就相當(dāng)于18億個(gè)1TB的移動(dòng)硬盤(pán)),而這個(gè)數(shù)值還在以每?jī)赡攴环乃俣仍鲩L(zhǎng),預(yù)計(jì)到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量,增長(zhǎng)近20倍。
“大數(shù)據(jù)已經(jīng)滲入到了生活的方方面面,從房地產(chǎn)到商務(wù),從產(chǎn)品到品牌,都已經(jīng)和大數(shù)據(jù)緊密聯(lián)系在一起。”中國(guó)傳媒大學(xué)調(diào)查統(tǒng)計(jì)研究所所長(zhǎng)沈浩教授表示。
通俗地講,大數(shù)據(jù)就是對(duì)網(wǎng)上海量的文本、圖像、音頻和視頻數(shù)據(jù)進(jìn)行采集、分析、加工和利用。
工信部軟件服務(wù)業(yè)司司長(zhǎng)陳偉認(rèn)為,由于大量有用和可能沒(méi)用的數(shù)據(jù)并存,“遍地是金子,又遍地是沙子”,所以大數(shù)據(jù)的目的就在于從龐大的數(shù)據(jù)集合中找尋有價(jià)值的數(shù)據(jù)和知識(shí),通過(guò)分析挖掘?yàn)楦餍袠I(yè)提供真正的智慧,“可以說(shuō)21世紀(jì)是‘數(shù)據(jù)鉆出石油’的時(shí)代”。
IBM大數(shù)據(jù)專家肖冰認(rèn)為,大數(shù)據(jù)中蘊(yùn)含著巨大的商業(yè)價(jià)值。在這樣龐大的非結(jié)構(gòu)化數(shù)據(jù)背后,如何利用大數(shù)據(jù)技術(shù),從海量堆積的交互數(shù)據(jù)當(dāng)中發(fā)現(xiàn)帶有趨勢(shì)性、前瞻性的訊息,就能夠發(fā)現(xiàn)并產(chǎn)生巨大的社會(huì)價(jià)值和商業(yè)價(jià)值。
大數(shù)據(jù)悄然改變生活
其實(shí),大數(shù)據(jù)已經(jīng)開(kāi)始悄然改變著我們的生活。
網(wǎng)絡(luò)購(gòu)物正在成為消費(fèi)者喜愛(ài)的購(gòu)物方式,2012年的“雙十一”大戰(zhàn),令眾多網(wǎng)友沉迷于網(wǎng)購(gòu)中不能自拔。或許你不知道,其實(shí),依靠大數(shù)據(jù)分析預(yù)測(cè)能力,一些精明的零售商正在從目標(biāo)客戶更加個(gè)性化和直接的層面上,特別是在重要的節(jié)日需求上,收集和挖掘消費(fèi)大數(shù)據(jù)。
大數(shù)據(jù)可以處理一個(gè)龐大的范圍內(nèi)的廣泛活動(dòng),包括有效的營(yíng)銷活動(dòng),就可以針對(duì)顧客在網(wǎng)上的購(gòu)買行為,投其喜好進(jìn)行銷售與推廣,實(shí)現(xiàn)社交電子商務(wù)和庫(kù)存優(yōu)化。
例如,大數(shù)據(jù)分析軟件有可能使零售商進(jìn)行直接相關(guān)的促銷和營(yíng)銷活動(dòng),激勵(lì)消費(fèi)者網(wǎng)購(gòu),并跟蹤由此產(chǎn)生的銷售交易。而同時(shí),大數(shù)據(jù)作為一個(gè)結(jié)果,零售商可以監(jiān)視和實(shí)時(shí)的調(diào)整促銷活動(dòng),最大限度地提高消費(fèi),提高盈利能力,在關(guān)鍵時(shí)期短時(shí)間產(chǎn)生最大收益。
“以往決策更多采用基于調(diào)查基礎(chǔ)上的經(jīng)驗(yàn)性決策,而借助大數(shù)據(jù)分析則能夠?qū)τ趯?duì)象進(jìn)行數(shù)量化的分析從而使決策更為科學(xué)。”中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院分析師韓耀強(qiáng)表示,目前淘寶就已經(jīng)建立了云計(jì)算中心,利用大數(shù)據(jù)可以更好的處理消費(fèi)者的消費(fèi)習(xí)慣、隨季節(jié)的變化等,從而更精準(zhǔn)的制定自己的營(yíng)銷策略、庫(kù)存調(diào)配等,從而使決策更加理性化。
Trident Marketing是一家直復(fù)營(yíng)銷企業(yè),其客戶包括DIRECTV等品牌。通過(guò)IBM大數(shù)據(jù)分析軟件幫助,他們甚至可以預(yù)計(jì)客戶最佳聯(lián)系時(shí)間以及客戶是否會(huì)取消服務(wù)。其營(yíng)收在短短4年增長(zhǎng)了10倍,產(chǎn)品部署后頭兩個(gè)月銷售額增長(zhǎng)10%,而且其客戶流失率降低了50%。
大數(shù)據(jù)還可以當(dāng)醫(yī)生!曾經(jīng)參加美國(guó)智力游戲Jeopardy!(危險(xiǎn)邊緣)的IBM超級(jí)計(jì)算機(jī)Watson已經(jīng)可以用來(lái)協(xié)助醫(yī)生聽(tīng)診。目前,有些美國(guó)的醫(yī)療機(jī)構(gòu)為了避免醫(yī)生的疏失,開(kāi)始與IBM合作,現(xiàn)在Watson會(huì)陪同醫(yī)生聽(tīng)診,聽(tīng)診完它會(huì)透過(guò)病征列出可能患的疾病是哪些,醫(yī)生可能問(wèn)診完想到的病征可能只有三五個(gè),可是Watson會(huì)跟從海量數(shù)據(jù)分析的角度幫他列出高達(dá)20個(gè)病征選項(xiàng),這大大的可以減少醫(yī)生疏忽的機(jī)會(huì),醫(yī)生看了Watson的分析報(bào)告以后就可知道,可以再多問(wèn)病人什么問(wèn)題來(lái)縮小看診判斷誤差。
大數(shù)據(jù)將使商業(yè)維護(hù)更加便捷。肖冰以某金融企業(yè)為例告訴我們,以往的分立的、傳統(tǒng)的數(shù)據(jù)處理的方式,每天的維護(hù)人員需要24小時(shí)3班倒,現(xiàn)在上線了PureData之后,則只需要6個(gè)人就足夠了,會(huì)帶來(lái)更大的便捷、降低更大的成本從而提升競(jìng)爭(zhēng)力。
談到大數(shù)據(jù)可能對(duì)生活帶來(lái)的變革,韓耀強(qiáng)說(shuō):“大數(shù)據(jù)會(huì)從個(gè)人、社會(huì)生活、商業(yè)、法律、道德等多個(gè)方面對(duì)整個(gè)社會(huì)產(chǎn)生全方位的、深刻的影響,此外還有更多變化我們是無(wú)法預(yù)測(cè)的,但毫無(wú)疑問(wèn),大數(shù)據(jù)對(duì)于生活的劇變性影響已經(jīng)是不可抗拒的事實(shí)。”
掘金大數(shù)據(jù)
2012年,大數(shù)據(jù)是云計(jì)算之后最熱的概念、最大的商機(jī)。包括IBM、微軟、谷歌、亞馬遜在內(nèi)的一大批知名企業(yè)紛紛掘金這一市場(chǎng)。以至于紐約時(shí)報(bào)等媒體均宣稱大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。
肖冰表示:“目前大數(shù)據(jù)處理的應(yīng)用,主要分為三個(gè)層面:一是遠(yuǎn)程數(shù)據(jù)處理,一是數(shù)據(jù)倉(cāng)庫(kù)引擎進(jìn)行處理,還有一個(gè)方面是挖掘、預(yù)測(cè)和展現(xiàn)數(shù)據(jù)的展現(xiàn)。”
我國(guó)政府也已經(jīng)加大了大數(shù)據(jù)的推廣力度。2012年9月26日,投資約5億元的全國(guó)人口信息處理與備份(西安)中心落戶西咸信息產(chǎn)業(yè)園。園區(qū)建設(shè)成為國(guó)家級(jí)數(shù)據(jù)中心和信息服務(wù)產(chǎn)業(yè)基地,使西咸大數(shù)據(jù)處理與服務(wù)產(chǎn)業(yè)園成為中國(guó)最大的信息資源聚集區(qū)。
韓耀強(qiáng)透露:“很多地方的政府已經(jīng)有了關(guān)于大數(shù)據(jù)發(fā)展的政策規(guī)劃,盡管明文政策還沒(méi)有出臺(tái),但在各地的云計(jì)算基地建立的基礎(chǔ)上,大數(shù)據(jù)的推廣應(yīng)用將充分挖掘云計(jì)算的產(chǎn)業(yè)潛力和推動(dòng)云計(jì)算的創(chuàng)新動(dòng)力。”
面對(duì)海量數(shù)據(jù)的到來(lái),傳統(tǒng)的計(jì)算法則已經(jīng)不再適用。以IBM在2012年12月份發(fā)布的針對(duì)大數(shù)據(jù)處理的專家集成系統(tǒng)PureData為例,“相對(duì)于分立的、傳統(tǒng)的數(shù)據(jù)處理的方式,我們的處理性能在速度上要快100倍以上,將復(fù)雜的分析操作時(shí)長(zhǎng)從數(shù)小時(shí)降至數(shù)分鐘,并且能夠?qū)崿F(xiàn)在單個(gè)系統(tǒng)上管理超過(guò)100個(gè)數(shù)據(jù)庫(kù)。”肖冰表示。
據(jù)了解,目前,美國(guó)醫(yī)療服務(wù)機(jī)構(gòu)的聯(lián)盟Premier Healthcare Alliance正在利用PureData系統(tǒng)幫助2700家醫(yī)院和9萬(wàn)家其它醫(yī)療機(jī)構(gòu)提高醫(yī)療服務(wù)質(zhì)量、改善財(cái)務(wù)狀況。其采用PureData系統(tǒng)來(lái)管理和分析美國(guó)最大的診所事務(wù)、財(cái)務(wù)和診斷結(jié)果數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)存儲(chǔ)著四分之一的病人出院信息、每天250萬(wàn)筆診所實(shí)時(shí)交易以及關(guān)于每年430億美元的醫(yī)療采購(gòu)的信息。
大數(shù)據(jù)發(fā)展任重道遠(yuǎn)
毋庸置疑,大數(shù)據(jù)能夠帶來(lái)大量的經(jīng)濟(jì)價(jià)值和利益,但它也是一把雙刃劍。“無(wú)論對(duì)于企業(yè)還是個(gè)人而言,對(duì)于大數(shù)據(jù)的使用,利用得當(dāng)會(huì)給我們的生活帶來(lái)巨大的便捷,而利用不當(dāng)則也可能成為一種大的危機(jī),也有可能是帶來(lái)一種大的淘汰。”肖冰談到大數(shù)據(jù)未來(lái)發(fā)展時(shí)表示。
被企業(yè)大量收集的數(shù)據(jù),帶來(lái)了在數(shù)據(jù)處理、使用、保管和安全等方面的新挑戰(zhàn),對(duì)于消費(fèi)者的個(gè)人隱私和安全形成威脅。“在大數(shù)據(jù)時(shí)代,安全問(wèn)題會(huì)比互聯(lián)網(wǎng)時(shí)代更加突出。”韓耀強(qiáng)說(shuō),這也會(huì)催生一些新的有關(guān)于數(shù)據(jù)安全方面的產(chǎn)業(yè)。
大數(shù)據(jù)發(fā)展面臨的挑戰(zhàn)之一是數(shù)據(jù)的標(biāo)準(zhǔn)化問(wèn)題。據(jù)肖冰介紹,海量的數(shù)據(jù)的形態(tài)非常多樣,“目前有80%以上的數(shù)據(jù),是以非結(jié)構(gòu)化的形式而存在的。以往的技術(shù)在處理規(guī)范和結(jié)構(gòu)化數(shù)據(jù)方面具備優(yōu)勢(shì)。但在處理視頻、語(yǔ)音等非文字形式呈現(xiàn)的非結(jié)構(gòu)化的數(shù)據(jù)挖掘、專題分析與預(yù)測(cè)等方面則更加具備優(yōu)勢(shì)。在移動(dòng)互聯(lián)時(shí)代,更多的數(shù)據(jù)以非結(jié)構(gòu)化的形式出現(xiàn),傳統(tǒng)的數(shù)據(jù)處理方式面臨革新。”
非標(biāo)準(zhǔn)化的數(shù)據(jù)處理的難度非常大,而又有很多數(shù)據(jù)難以進(jìn)行標(biāo)準(zhǔn)化。“通過(guò)政策引導(dǎo),打破數(shù)據(jù)的條塊化特征,從而使數(shù)據(jù)更標(biāo)準(zhǔn)、更易于處理,是重點(diǎn)需要突破的領(lǐng)域。”韓耀強(qiáng)強(qiáng)調(diào)。
大數(shù)據(jù)發(fā)展面臨的挑戰(zhàn)還在于并沒(méi)有真正在應(yīng)用層面上下功夫,“如何真正利用大數(shù)據(jù)提升企業(yè)的價(jià)值,是需要著力突破的方向。”肖冰回顧大數(shù)據(jù)的發(fā)展時(shí)說(shuō)道。
“100年前的醫(yī)生可以了解醫(yī)學(xué)的所有分支,可是今天一名醫(yī)生面對(duì)的是大約10000種疾病綜合征、3000種藥品、1100種檢驗(yàn)方法的海量知識(shí)。”國(guó)家信息化專家咨詢委員會(huì)副主任、中國(guó)工程院院士鄔賀銓認(rèn)為,大數(shù)據(jù)產(chǎn)業(yè)需要從業(yè)人員既懂?dāng)?shù)據(jù)分析工具,又懂行業(yè)分析,而這樣的創(chuàng)新人才是奇缺的,“同時(shí)在大數(shù)據(jù)挖掘開(kāi)發(fā)利用和安全以及隱私保護(hù)方面,我國(guó)還缺乏相應(yīng)法律保障,需要通過(guò)機(jī)制創(chuàng)新來(lái)推動(dòng)數(shù)據(jù)共享的實(shí)現(xiàn)。”
“大數(shù)據(jù)將來(lái)會(huì)如何發(fā)展,并非決定于我們對(duì)大數(shù)據(jù)的認(rèn)識(shí),而關(guān)鍵是看社會(huì)會(huì)怎么發(fā)展。因此,基于關(guān)系視角的研究,大數(shù)據(jù)一定是會(huì)大有作為的。”沈浩表示。