貴州前段時(shí)間發(fā)布了大數(shù)據(jù)產(chǎn)業(yè)規(guī)劃和戰(zhàn)略布局,在這里根據(jù)關(guān)鍵內(nèi)容做一個(gè)簡(jiǎn)單解讀和分析。
將圍繞建設(shè)信息資源中心、打造大數(shù)據(jù)產(chǎn)業(yè)新高地的戰(zhàn)略定位,按照“基礎(chǔ)構(gòu)建、集群聚集、創(chuàng)新突破”的思路,科學(xué)規(guī)劃大數(shù)據(jù)產(chǎn)業(yè)布局,建基地、引人才、聚企業(yè)、抓應(yīng)用、保安全、促創(chuàng)新,努力將新區(qū)建成全國(guó)領(lǐng)先的大數(shù)據(jù)資源中心和大數(shù)據(jù)應(yīng)用服務(wù)示范基地。
一是加快數(shù)據(jù)資源集聚能力和管理能力建設(shè)。打造全省統(tǒng)一的大數(shù)據(jù)平臺(tái),集聚全省政務(wù)、公共服務(wù)等領(lǐng)域的數(shù)據(jù)資源;引進(jìn)國(guó)家級(jí)數(shù)據(jù)資源庫,爭(zhēng)取國(guó)家基礎(chǔ)數(shù)據(jù)存儲(chǔ)中心、容災(zāi)備份中心和重點(diǎn)企業(yè)數(shù)據(jù)中心落戶;拓展數(shù)據(jù)來源渠道和范圍,支持和鼓勵(lì)企業(yè)、行業(yè)協(xié)會(huì)、高等院校、科研機(jī)構(gòu)等單位提升數(shù)據(jù)采集能力,參與數(shù)據(jù)資源庫建設(shè);設(shè)立貴州省數(shù)據(jù)資源管理辦公室,完善數(shù)據(jù)資產(chǎn)登記、管理、開放、開發(fā)等標(biāo)準(zhǔn),規(guī)范政府?dāng)?shù)據(jù)資產(chǎn)管理制度,保證數(shù)據(jù)資源有序、有效使用。
解讀:建設(shè)統(tǒng)一的大數(shù)據(jù)平臺(tái)
首先說明下為何要建設(shè)數(shù)據(jù)資源庫,其核心目的還是需要聚合原有分散在各個(gè)政務(wù)系統(tǒng)中的數(shù)據(jù),大家要注意這里不是聚合所有數(shù)據(jù),而是需要在多個(gè)政務(wù)系統(tǒng)共享的數(shù)據(jù),在進(jìn)行大數(shù)據(jù)分析的時(shí)候需要使用到的本身具有相關(guān)性的各類數(shù)據(jù)。這里的數(shù)據(jù)資源庫和傳統(tǒng)電子政務(wù)建設(shè)里面談到的數(shù)據(jù)資源中心在業(yè)務(wù)上目標(biāo)是一樣的,納入大數(shù)據(jù)平臺(tái)后只是在構(gòu)建過程中會(huì)應(yīng)用到大數(shù)據(jù)相關(guān)技術(shù)如分布式存儲(chǔ),流計(jì)算等來解決對(duì)數(shù)據(jù)的海量和實(shí)時(shí)性要求。
數(shù)據(jù)資源庫的建設(shè)本身包括了兩個(gè)方面的內(nèi)容,從業(yè)務(wù)上重點(diǎn)是數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)規(guī)范和接口,數(shù)據(jù)模型的建設(shè),這個(gè)以往差別不大,唯一增加的內(nèi)容是在數(shù)據(jù)模型建設(shè)中需要更多的考慮數(shù)據(jù)本身之間的相關(guān)性。其次是數(shù)據(jù)平臺(tái)的建設(shè),這里從技術(shù)上講和傳統(tǒng)區(qū)別相當(dāng)比較大,一個(gè)是在建設(shè)數(shù)據(jù)平臺(tái)過程中需要應(yīng)用到大數(shù)據(jù)相關(guān)技術(shù)平臺(tái),如Hadoop平臺(tái)等,這里已經(jīng)不是一個(gè)單純的數(shù)據(jù)存儲(chǔ)平臺(tái),而是必須提供數(shù)據(jù)存儲(chǔ),數(shù)據(jù)處理和數(shù)據(jù)分析能力的完整平臺(tái),其次大數(shù)據(jù)平臺(tái)建設(shè)的最終目標(biāo)還是希望經(jīng)過處理和分析后的數(shù)據(jù)能力能夠共享和開發(fā),體現(xiàn)業(yè)務(wù)價(jià)值,因此需要有大數(shù)據(jù)共享服務(wù)能力提供,即大數(shù)據(jù)平臺(tái)本身還必須是可開放和共享的數(shù)據(jù)能力服務(wù)平臺(tái)。
對(duì)于大數(shù)據(jù)平臺(tái)的建設(shè)難點(diǎn)不在技術(shù)而是在業(yè)務(wù)上,這里面涉及到兩個(gè)層面的數(shù)據(jù)開放和共享,一個(gè)是在政府行業(yè)內(nèi)部各個(gè)部門間,工商,稅務(wù),質(zhì)監(jiān),交通等各個(gè)部門的數(shù)據(jù)能夠共享,這里面涉及到的部門和利益壁壘要想短期解決是很困難的事情;其次是大數(shù)據(jù)平臺(tái)最終處理和分析后的能力能否進(jìn)一步朝外面的企業(yè)和公共服務(wù)部門共享和開放,這是第二個(gè)層面的困難,在這一點(diǎn)上國(guó)外類似美國(guó)在政府部門大數(shù)據(jù)資源和數(shù)據(jù)目錄開放程度就遠(yuǎn)遠(yuǎn)好于我國(guó)。具體可以看下涂子沛的《大數(shù)據(jù)時(shí)代》這本書。
二是加快計(jì)算服務(wù)能力和應(yīng)用能力建設(shè)。引進(jìn)公共云服務(wù)龍頭企業(yè),提供高質(zhì)量的基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺(tái)即服務(wù)(PaaS)、軟件即服務(wù)(SaaS)等公共云服務(wù);引導(dǎo)財(cái)政資金支持的信息化項(xiàng)目?jī)?yōu)先部署在統(tǒng)一的云計(jì)算基礎(chǔ)設(shè)施,促進(jìn)政務(wù)信息系統(tǒng)和信息資源的共享;面向貴州省建設(shè)電子政務(wù)、智能交通、智能物流、企業(yè)管理、智慧城市等方面的需求,發(fā)展服務(wù)功能強(qiáng)、商業(yè)模式新、帶動(dòng)效果大的行業(yè)云平臺(tái);面向企業(yè)研發(fā)、產(chǎn)品設(shè)計(jì)、生產(chǎn)控制、經(jīng)營(yíng)管理等方面需求,提供專業(yè)化的工業(yè)云計(jì)算服務(wù);加快研發(fā)云計(jì)算平臺(tái)資源管理軟件、云安全防護(hù)產(chǎn)品、云模式應(yīng)用軟件,發(fā)展面向重點(diǎn)行業(yè)領(lǐng)域的云計(jì)算系統(tǒng)解決方案。
解讀:計(jì)算服務(wù)和應(yīng)用能力建設(shè)
對(duì)于這部分內(nèi)容基本可以看到是常規(guī)的云計(jì)算平臺(tái)和智慧城市方面的建設(shè)內(nèi)容。政府很多時(shí)候規(guī)劃往往就是沒有了解一件事情的本質(zhì)而一味的追求大而全的理想化建設(shè)模式。從最早的各地圈地大搞特搞云計(jì)算中心和產(chǎn)業(yè)基地;到智慧城市概念炒作起來的時(shí)候又把云計(jì)算,SOA,大數(shù)據(jù),物聯(lián)網(wǎng)等所有內(nèi)容全部涵蓋在智慧城市規(guī)劃里面。而到了大數(shù)據(jù)時(shí)代,我們看到的規(guī)劃效果又是所有內(nèi)容似乎都恨不得全部納入到大數(shù)據(jù)產(chǎn)業(yè)規(guī)劃里面,搞理想化的大而全建設(shè),結(jié)果平臺(tái)項(xiàng)目建設(shè)過程中就夭折點(diǎn),這個(gè)是每個(gè)政府部門做大數(shù)據(jù)規(guī)劃前必須要考慮的問題,即必須清楚大數(shù)據(jù)本質(zhì)是什么?希望通過大數(shù)據(jù)平臺(tái)建設(shè)來解決什么業(yè)務(wù)問題,這個(gè)都沒有想清楚不適宜開始大數(shù)據(jù)產(chǎn)業(yè)規(guī)劃和建設(shè)。
那么是不是大數(shù)據(jù)平臺(tái)和云平臺(tái)完全沒有關(guān)系?那也不是絕對(duì)。對(duì)于兩者的關(guān)系在這里用最通俗的方式來進(jìn)行下說明和對(duì)應(yīng)。首先大數(shù)據(jù)本身需要存儲(chǔ),大數(shù)據(jù)在處理和聚合到數(shù)據(jù)資源平臺(tái)過程中需要進(jìn)行計(jì)算,那么就需要資源來提供計(jì)算和存儲(chǔ)能力,而且這個(gè)能力可以彈性擴(kuò)展,這塊能力的提供即是云計(jì)算平臺(tái)IaaS層完成的內(nèi)容。其次大數(shù)據(jù)在處理過程中涉及到數(shù)據(jù)集成,數(shù)據(jù)采集和聚合,數(shù)據(jù)并行處理,數(shù)據(jù)流處理,數(shù)據(jù)分析,數(shù)據(jù)服務(wù)能力共享和開放,這些能力已經(jīng)是在資源層上層的能力,即平臺(tái)層能力,而這些平臺(tái)層能力都可以納入到廣義的云計(jì)算PaaS平臺(tái)層。
三是加快大數(shù)據(jù)分析能力和利用能力建設(shè)。加強(qiáng)大數(shù)據(jù)分析關(guān)鍵算法和共性基礎(chǔ)技術(shù)研發(fā),開發(fā)專業(yè)化的數(shù)據(jù)處理分析工具,形成大數(shù)據(jù)基礎(chǔ)技術(shù)與產(chǎn)品資源池;發(fā)揮大企業(yè)平臺(tái)引領(lǐng)作用和專業(yè)大數(shù)據(jù)服務(wù)企業(yè)創(chuàng)新優(yōu)勢(shì),加快市場(chǎng)化的大數(shù)據(jù)應(yīng)用,發(fā)展第三方大數(shù)據(jù)服務(wù),提供特色化的數(shù)據(jù)服務(wù);支持?jǐn)?shù)據(jù)開放、共享和應(yīng)用服務(wù),探索商業(yè)模式創(chuàng)新,推進(jìn)大數(shù)據(jù)的公共應(yīng)用;選擇重點(diǎn)行業(yè)領(lǐng)域,開展基于云計(jì)算的大數(shù)據(jù)示范應(yīng)用,推動(dòng)專業(yè)化的大數(shù)據(jù)挖掘、分析、應(yīng)用和服務(wù)發(fā)展,提高大數(shù)據(jù)行業(yè)應(yīng)用能力。
解讀:數(shù)據(jù)分析和利用能力建設(shè)
再次強(qiáng)調(diào)大數(shù)據(jù)核心是實(shí)現(xiàn)了業(yè)務(wù)價(jià)值和公共服務(wù)能力提升,如果我們建設(shè)的大數(shù)據(jù)平臺(tái)和數(shù)據(jù)資源中心雖然實(shí)現(xiàn)了數(shù)據(jù)的聚合和數(shù)據(jù)模型的標(biāo)準(zhǔn)化,但是這些海量數(shù)據(jù)如果不能進(jìn)行很好的挖掘和相關(guān)性分析,如果不能將數(shù)據(jù)本身的價(jià)值和能力通過服務(wù)化方式開放出來,那么整個(gè)大數(shù)據(jù)平臺(tái)將沒有任何價(jià)值。
貴州大數(shù)據(jù)產(chǎn)業(yè)戰(zhàn)略里面談到的將數(shù)據(jù)開放和共享出去,發(fā)展第三方大數(shù)據(jù)服務(wù),推薦大數(shù)據(jù)公共應(yīng)用并探索新的商業(yè)模式是相關(guān)關(guān)鍵的點(diǎn)。這仍然是商業(yè)模式和業(yè)務(wù)問題,而非技術(shù)問題,經(jīng)過處理和分析的數(shù)據(jù)只有能夠被使用,能夠用于決策,能夠?yàn)榇蟊娞峁└痈咝У墓矓?shù)據(jù)服務(wù)才是最大的價(jià)值。
根據(jù)大數(shù)據(jù)本身的海量,異構(gòu),實(shí)時(shí)等特點(diǎn),可以看到要針對(duì)海量異構(gòu)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和分析,同時(shí)有必須滿足大數(shù)據(jù)分析的實(shí)時(shí)或準(zhǔn)實(shí)時(shí)性要求還是相當(dāng)有難度的。這一方面涉及到CEP,流處理,MPP,并行計(jì)算等各種技術(shù)的使用;一方面涉及到數(shù)據(jù)相關(guān)性分析模型的建立,兩者缺一不可。
大數(shù)據(jù)平臺(tái)建設(shè)本身又有兩種模式,一種是先構(gòu)建數(shù)據(jù)存儲(chǔ)平臺(tái),再構(gòu)建處理平臺(tái),最后再構(gòu)建數(shù)據(jù)分析和挖掘平臺(tái);一種是根據(jù)業(yè)務(wù)目標(biāo)來分析是否涉及到大數(shù)據(jù)應(yīng)用場(chǎng)景,根據(jù)應(yīng)用場(chǎng)景來分析究竟涉及到哪些相互關(guān)聯(lián)數(shù)據(jù),然后進(jìn)行數(shù)據(jù)建模,再來考慮如何高效可擴(kuò)展的對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ),處理和分析。對(duì)于政府部門的大數(shù)據(jù)我們更加建議第二種方式,即不要一開始就追求大而全,而是有針對(duì)性的各個(gè)擊破,快速的體現(xiàn)出大數(shù)據(jù)平臺(tái)應(yīng)有的商業(yè)價(jià)值。