數(shù)據(jù)即資源,互聯(lián)網(wǎng)上,每天新浪微博用戶(hù)發(fā)博量超過(guò)1億條,百度大約要處理數(shù)十億次搜索請(qǐng)求,淘寶網(wǎng)站的交易達(dá)數(shù)千萬(wàn)筆,聯(lián)通的用戶(hù)上網(wǎng)記錄一天達(dá)到10TB……,目前正在發(fā)生的一切無(wú)不顯示著:大數(shù)據(jù)正在登上時(shí)代的舞臺(tái)。那么在數(shù)據(jù)為王的時(shí)代,國(guó)內(nèi)數(shù)據(jù)庫(kù)產(chǎn)品是否能占據(jù)一席之地呢?
數(shù)據(jù)庫(kù)在國(guó)外問(wèn)世發(fā)展三十余年,已經(jīng)逐漸形成以O(shè)racle、IBM、Microsoft等為代表的強(qiáng)勢(shì)壟斷格局。我國(guó)傳統(tǒng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)作為后來(lái)者,加上技術(shù)上采取跟隨戰(zhàn)略、在事務(wù)處理領(lǐng)域頑強(qiáng)拼殺,雖然產(chǎn)品不斷進(jìn)步、市場(chǎng)應(yīng)用也不斷取得單點(diǎn)突破,但大多處于非核心應(yīng)用。盡管政府給予了持續(xù)的大力支持,但在壟斷壁壘和開(kāi)源軟件左右?jiàn)A擊下,除了政策性市場(chǎng)之外,很難取得規(guī)模化突破,尚未形成企業(yè)發(fā)展良性循環(huán)和政府支持的雙贏(yíng)局面。
大數(shù)據(jù)時(shí)代的到來(lái),使得傳統(tǒng)數(shù)據(jù)庫(kù)在處理百TB以上、特別是PB級(jí)數(shù)據(jù)的查詢(xún)、統(tǒng)計(jì)、分析等應(yīng)用時(shí),遇到性能上的瓶頸。面對(duì)電信、金融、安全、政企等大數(shù)據(jù)量應(yīng)用,包括電信話(huà)單、金融細(xì)帳、智能電網(wǎng)、經(jīng)營(yíng)分析、公安網(wǎng)監(jiān)、輿情監(jiān)控、審計(jì)稽查、應(yīng)急指揮等,用戶(hù)體驗(yàn)往往不可接受。海量數(shù)據(jù)的3V(數(shù)量Volume、速度VelocITy、多樣VarIEty)挑戰(zhàn)著傳統(tǒng)數(shù)據(jù)庫(kù)曾經(jīng)非常成功的“一種架構(gòu)支持多類(lèi)應(yīng)用”的模式?;ヂ?lián)網(wǎng)和大數(shù)據(jù)應(yīng)用的沖擊下,世界數(shù)據(jù)庫(kù)格局在發(fā)生革命性的變化,通用數(shù)據(jù)庫(kù)(OldSQL)一統(tǒng)天下變成了OldSQL、NewSQL、NoSQL共同支撐多類(lèi)應(yīng)用的局面。
大數(shù)據(jù)是信息化的一個(gè)嶄新發(fā)展階段,通過(guò)分析各種大數(shù)據(jù),人類(lèi)對(duì)知識(shí)的認(rèn)知可以見(jiàn)微知著、集腋成裘、由此及彼,對(duì)世界的認(rèn)知也將更全面、更深入、和更具前瞻性。自2011年5月,EMC和IDC在合作研究“數(shù)字宇宙”五年之后提出“大數(shù)據(jù)”概念以來(lái),“大數(shù)據(jù)經(jīng)濟(jì)”的影響力愈發(fā)顯著,谷歌、Facebook競(jìng)相超過(guò)微軟,曾經(jīng)的“軟件為王”讓位于“數(shù)據(jù)為王”。
可以預(yù)見(jiàn),大數(shù)據(jù)時(shí)代將引發(fā)大量應(yīng)用創(chuàng)新,比如,城市大數(shù)據(jù)應(yīng)用將支撐智慧城市建設(shè),還有智慧教育、智慧醫(yī)療、智慧交通、智慧金融等;各級(jí)政府利用大數(shù)據(jù)對(duì)經(jīng)濟(jì)和社會(huì)統(tǒng)計(jì)、預(yù)測(cè)和規(guī)劃,可以提升洞察能力、決策能力和國(guó)際競(jìng)爭(zhēng)力,這將助力我國(guó)許多行業(yè)創(chuàng)新轉(zhuǎn)型,是中國(guó)發(fā)展中變道超車(chē)的重要機(jī)遇。
當(dāng)前美國(guó)、英國(guó)、加拿大、新西蘭、德國(guó)、法國(guó)、日本等都在積極推動(dòng)和布局大數(shù)據(jù)戰(zhàn)略。特別是美國(guó),2012年3月29日奧巴馬政府就宣布實(shí)施“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”,美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)、國(guó)家衛(wèi)生研究院(NIH)、國(guó)防部(DOD)、能源部(DOE)、國(guó)防部高級(jí)研究局(DARPA)、地質(zhì)勘探局(USGS)等六個(gè)聯(lián)邦部門(mén)和機(jī)構(gòu)聯(lián)合參與。在我國(guó),多位院士也在積極建言制定大數(shù)據(jù)國(guó)家戰(zhàn)略,從國(guó)家層面頂層規(guī)劃,實(shí)施“專(zhuān)項(xiàng)計(jì)劃”,突破關(guān)鍵技術(shù),構(gòu)建我國(guó)大數(shù)據(jù)良性生態(tài)環(huán)境。中國(guó)的數(shù)據(jù)優(yōu)勢(shì)在于,不僅有海量網(wǎng)民和互聯(lián)網(wǎng)信息企業(yè),我們省地縣各級(jí)政府和單位都已建立了“專(zhuān)業(yè)數(shù)據(jù)庫(kù)”和“數(shù)據(jù)中心”。當(dāng)這些數(shù)據(jù)被打通,當(dāng)各種“專(zhuān)業(yè)知識(shí)服務(wù)系統(tǒng)”和智能系統(tǒng)被建立起來(lái),我國(guó)大有可能登上大數(shù)據(jù)掌控與應(yīng)用的戰(zhàn)略制高點(diǎn)。據(jù)預(yù)測(cè),2014年中國(guó)大數(shù)據(jù)市場(chǎng)將近100億元,并且未來(lái)幾年將持續(xù)保持100%以上的高速增長(zhǎng)。
因此,集中政府、地方、企業(yè)各方資源,聚焦研發(fā)支撐大數(shù)據(jù)的核心技術(shù)和關(guān)鍵產(chǎn)品顯得十分急迫:
● 數(shù)據(jù)分析技術(shù)、知識(shí)計(jì)算技術(shù);
● 非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)、新型數(shù)據(jù)庫(kù)管理技術(shù);
● 數(shù)據(jù)安全共享技術(shù);
● 可視化技術(shù);
● 等等。
如果說(shuō)過(guò)去二十年,國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠(chǎng)商缺少生存空間,那么今天大數(shù)據(jù)時(shí)代,國(guó)產(chǎn)數(shù)據(jù)庫(kù)則迎來(lái)難得的歷史發(fā)展機(jī)遇。以研制承載大數(shù)據(jù)應(yīng)用的新型數(shù)據(jù)庫(kù)為突破口,以數(shù)據(jù)價(jià)值密度高的行業(yè)大數(shù)據(jù)為重點(diǎn),首先聚焦于結(jié)構(gòu)化大數(shù)據(jù)的應(yīng)用需求,研發(fā)能夠支持企業(yè)級(jí)大數(shù)據(jù)分析的列存+MPP數(shù)據(jù)庫(kù)集群,達(dá)到對(duì)百TB至PB級(jí)結(jié)構(gòu)化數(shù)據(jù)的分析類(lèi)應(yīng)用比傳統(tǒng)數(shù)據(jù)庫(kù)快10-100倍的性能指標(biāo)。接著研發(fā)能夠?qū)Y(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一管理和分析的全數(shù)據(jù)處理平臺(tái)。逐步形成以國(guó)產(chǎn)分析型數(shù)據(jù)庫(kù)為核心,聯(lián)合各行業(yè)的數(shù)據(jù)分析類(lèi)應(yīng)用開(kāi)發(fā)和集成廠(chǎng)商建設(shè)企業(yè)級(jí)大數(shù)據(jù)的綜合分析與展示平臺(tái)、商業(yè)智能、運(yùn)營(yíng)智能和數(shù)據(jù)輔助的人工智能平臺(tái)構(gòu)成的企業(yè)級(jí)大數(shù)據(jù)應(yīng)用產(chǎn)業(yè)鏈。這對(duì)于保障國(guó)家數(shù)據(jù)安全、突破國(guó)產(chǎn)基礎(chǔ)軟件一直以來(lái)的被動(dòng)局面,推動(dòng)我國(guó)軟件產(chǎn)業(yè)發(fā)展都至關(guān)重要。