中國(guó)移動(dòng)大數(shù)據(jù)平臺(tái)產(chǎn)品研發(fā)和應(yīng)用實(shí)踐項(xiàng)目立志于研發(fā)通用的、提供端到端大數(shù)據(jù)處理能力的大數(shù)據(jù)平臺(tái),打造中國(guó)移動(dòng)在Hadoop大數(shù)據(jù)產(chǎn)品族之上的自研大數(shù)據(jù)平臺(tái)產(chǎn)品,提供完善的大數(shù)據(jù)能力與完整的大數(shù)據(jù)解決方案,提升現(xiàn)網(wǎng)大數(shù)據(jù)系統(tǒng)的平臺(tái)能力,為中國(guó)移動(dòng)IT系統(tǒng)的大數(shù)據(jù)平臺(tái)建設(shè)打下堅(jiān)實(shí)的基礎(chǔ)。
“大云”大數(shù)據(jù)平臺(tái)是集安全、數(shù)據(jù)采集、存儲(chǔ)和處理、能力和應(yīng)用以及運(yùn)維和運(yùn)營(yíng)管理為一體的大數(shù)據(jù)平臺(tái)產(chǎn)品。其核心組件包括大云Hadoop數(shù)據(jù)平臺(tái)(BC-Hadoop)、“大云”大數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(BC-HugeTable)、大云大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)(BC-BDOC)等。
“大云”大數(shù)據(jù)平臺(tái)已先后被應(yīng)用于多個(gè)單位、部門的42個(gè)項(xiàng)目,在生產(chǎn)系統(tǒng)中部署了超過1000臺(tái)服務(wù)器。目前,依托“大云”大數(shù)據(jù)平臺(tái),應(yīng)用單位的多項(xiàng)大數(shù)據(jù)相關(guān)業(yè)務(wù)已完成遷移,由“大云”大數(shù)據(jù)平臺(tái)提供對(duì)數(shù)據(jù)采集到存儲(chǔ)和處理等大數(shù)據(jù)場(chǎng)景的全面支持。
成果的創(chuàng)新性與優(yōu)越性
“大云”大數(shù)據(jù)平臺(tái)提供了完善的大數(shù)據(jù)能力,其中的子產(chǎn)品可分為三類:基礎(chǔ)組件產(chǎn)品(如大云Hadoop數(shù)據(jù)平臺(tái)BC-Hadoop)、大云大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)產(chǎn)品(BC-BDOC)和應(yīng)用產(chǎn)品(如大云互聯(lián)網(wǎng)采集系統(tǒng))。其中,“大云”大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)產(chǎn)品BC-BDOC提供大數(shù)據(jù)運(yùn)營(yíng)管理、數(shù)據(jù)管理和安全管理的功能,是核心產(chǎn)品之一。
技術(shù)層面上,“大云”大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)BC-BDOC提供了基礎(chǔ)大數(shù)據(jù)產(chǎn)品之上全面化的平臺(tái)能力,解決了開源大數(shù)據(jù)基礎(chǔ)組件提供的多租戶能力不足的問題。
應(yīng)用層面上,將包括“大云”大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)BC-BDOC在內(nèi)的大數(shù)據(jù)平臺(tái)產(chǎn)品運(yùn)用于各個(gè)省公司的大數(shù)據(jù)平臺(tái)建設(shè),為其解決了不同部門不同應(yīng)用間的資源隔離、資源統(tǒng)一分配、服務(wù)申請(qǐng)、數(shù)據(jù)共享等問題。
“大云”大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)BC-BDOC帶來了一套大數(shù)據(jù)平臺(tái)代替?zhèn)鹘y(tǒng)的多個(gè)小集群的模式,實(shí)現(xiàn)一套大數(shù)據(jù)平臺(tái)部署多項(xiàng)應(yīng)用,并做到資源合理分配,消除應(yīng)用之間的影響,有效降低成本,提高集群的資源利用率。
成果的經(jīng)濟(jì)效益與社會(huì)效益
應(yīng)用單位和部門依托提供的完善的大數(shù)據(jù)能力以及資源隔離、資源統(tǒng)一分配、服務(wù)申請(qǐng)、數(shù)據(jù)共享等功能,有效地避免了冗余大數(shù)據(jù)集群的建設(shè),節(jié)約投資約2000萬元。
中國(guó)移動(dòng)“大云”大數(shù)據(jù)平臺(tái)產(chǎn)品,是基于成熟的Hadoop大數(shù)據(jù)基礎(chǔ)組件實(shí)現(xiàn)的具有完善的大數(shù)據(jù)能力與完整的大數(shù)據(jù)解決方案的平臺(tái)型產(chǎn)品。中國(guó)移動(dòng)在研發(fā)過程中提出了多項(xiàng)專利,對(duì)包括大云大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)BC-BDOC、大云大數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)BC-Hugetable、大云并行數(shù)據(jù)挖掘系統(tǒng)BC-PDM、大云數(shù)據(jù)交換工具BC-CrossData、大云互聯(lián)網(wǎng)采集系統(tǒng)和大云互聯(lián)網(wǎng)情報(bào)分析系統(tǒng)在內(nèi)的多項(xiàng)子產(chǎn)品擁有完全自主知識(shí)產(chǎn)權(quán)。
通過自主研發(fā),中國(guó)移動(dòng)掌握了大數(shù)據(jù)運(yùn)營(yíng)平臺(tái)建設(shè)的關(guān)鍵技術(shù),為提高我國(guó)大數(shù)據(jù)自主創(chuàng)新能力,培育戰(zhàn)略性新興產(chǎn)業(yè),加快轉(zhuǎn)變經(jīng)濟(jì)發(fā)展方式提供了重要支撐。
本項(xiàng)目提供了從數(shù)據(jù)采集、存儲(chǔ)和處理到能力申請(qǐng)和應(yīng)用托管的,具有一整套大數(shù)據(jù)能力的大數(shù)據(jù)平臺(tái)產(chǎn)品,包含的子產(chǎn)品從大數(shù)據(jù)基礎(chǔ)組件到典型大數(shù)據(jù)應(yīng)用,具有良好的多租戶能力。
對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行研發(fā),一方面對(duì)大數(shù)據(jù)技術(shù)進(jìn)行了更深入的技術(shù)探索,另一方面為大數(shù)據(jù)平臺(tái)建設(shè)提供了穩(wěn)定可靠的解決方案。本項(xiàng)目提高了中國(guó)移動(dòng)的自主創(chuàng)新能力,增強(qiáng)了中國(guó)移動(dòng)在大數(shù)據(jù)平臺(tái)建設(shè)領(lǐng)域的技術(shù)積累。