當(dāng)前,各行各業(yè)都在積極進(jìn)行著數(shù)據(jù)基礎(chǔ)之上的智能化轉(zhuǎn)型,這種轉(zhuǎn)型讓重新構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施成為關(guān)鍵。為何需要重新構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施?數(shù)據(jù)基礎(chǔ)設(shè)施與智能化的發(fā)展有哪些必然?數(shù)據(jù)價值如何落地?華為從計算、接入、存儲、處理和數(shù)據(jù)使能這五個領(lǐng)域重定義數(shù)據(jù)基礎(chǔ)設(shè)施,解決這些挑戰(zhàn),助力各行業(yè)加速邁向智能時代。
上圖為:華為IT產(chǎn)品線副總裁,智能數(shù)據(jù)與存儲領(lǐng)域總裁 周躍峰
FusionData 華為打造數(shù)據(jù)湖解決方案
華為FusionData的終極目標(biāo)是要打造數(shù)據(jù)湖解決方案,它可以稱作為數(shù)據(jù)湖解決方案的基礎(chǔ)。華為數(shù)據(jù)庫,最大的難點(diǎn)是在高可用穩(wěn)定上,華為數(shù)據(jù)庫研發(fā)了八年,通過投入大量的人力和時間成本,研發(fā)出自主創(chuàng)新的數(shù)據(jù)庫。
目前,這些創(chuàng)新方案正應(yīng)用于各行各業(yè)。在北京,通過“數(shù)據(jù)+智能”,實現(xiàn)政務(wù)服務(wù)“一門一號一窗一網(wǎng)”,讓數(shù)據(jù)多跑路,群眾少跑腿,業(yè)務(wù)辦理時間縮短了50%;在深圳,通過“數(shù)據(jù)+智能”,道路交通控制從“車看燈”變成了“燈看車”,實現(xiàn)早高峰主干道車速提升了18%,讓城市交通更順暢。
在招商銀行,華為的金融實時風(fēng)控解決方案,在6000多條風(fēng)控規(guī)則下,對交易風(fēng)險決策的響應(yīng)速度達(dá)到了30ms以內(nèi),讓招行的交易風(fēng)控從事后變成事中。華為的金融實時風(fēng)控解決方案,從2016年在招行部署以來,已累計保護(hù)32億筆交易安全,幫助客戶大幅減少交易損失。
但是,由于多樣性數(shù)據(jù)、多樣性系統(tǒng)和多樣性業(yè)務(wù)的現(xiàn)狀,導(dǎo)致企業(yè)實現(xiàn)數(shù)據(jù)價值的過程中,面臨數(shù)據(jù)接入難、數(shù)據(jù)融合分析難和數(shù)據(jù)消費(fèi)難三大挑戰(zhàn)。
數(shù)據(jù)接入難
隨著應(yīng)用移動化的高速發(fā)展,企業(yè)前端應(yīng)用系統(tǒng)和應(yīng)用模塊達(dá)到上千個,后端平臺有數(shù)十個,整個數(shù)據(jù)平臺有上萬個接入點(diǎn),導(dǎo)致系統(tǒng)前端和后端的數(shù)據(jù)接入很復(fù)雜。比如某公司,一條財經(jīng)數(shù)據(jù)涉及30多個前端系統(tǒng),一個業(yè)務(wù)開發(fā)流程需要和400多個系統(tǒng)進(jìn)行數(shù)據(jù)對接。
數(shù)據(jù)融合分析難
一個業(yè)務(wù)在分析過程中,往往需要從多個數(shù)據(jù)來源抽取數(shù)據(jù),經(jīng)過融合分析實現(xiàn)業(yè)務(wù)目標(biāo)。由于企業(yè)煙囪式架構(gòu)帶來的系統(tǒng)開發(fā)接口不統(tǒng)一,數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,數(shù)據(jù)處理鏈路長等問題,使得數(shù)據(jù)融合分析成為一大難題。
以某銀行精準(zhǔn)營銷為例,需要使用用戶注冊數(shù)據(jù)、消費(fèi)行為數(shù)據(jù)、位置數(shù)據(jù)等,這些數(shù)據(jù)分散在關(guān)系數(shù)據(jù)庫、MPPDB、Hadoop、 流計算等多種系統(tǒng)中。這些系統(tǒng)提供的接口標(biāo)準(zhǔn)不統(tǒng)一,有SQL、API等;數(shù)據(jù)存儲格式不統(tǒng)一,有文件,表等。數(shù)據(jù)融合分析耗費(fèi)大量人力物力。最終,耗時一個月實現(xiàn)該業(yè)務(wù)。
數(shù)據(jù)消費(fèi)難,其實質(zhì)就是數(shù)據(jù)用不好
以某公司為例,全公司共有130多萬張表,分散在各個業(yè)務(wù)系統(tǒng)中;經(jīng)過數(shù)據(jù)加工入湖的數(shù)據(jù)有14多萬張表,約占總數(shù)據(jù)量的11% ;經(jīng)過加工聚合后的主題庫表約5千張,不足總數(shù)據(jù)量的0.5%,無法應(yīng)對靈活多變的業(yè)務(wù)需求。
華為從計算、接入、存儲、處理和數(shù)據(jù)使能這五個領(lǐng)域重定義數(shù)據(jù)基礎(chǔ)設(shè)施,解決這些挑戰(zhàn),助力各行業(yè)加速邁向智能時代。
在計算領(lǐng)域,華為引領(lǐng)多樣性計算,從單一算力到多樣性算力,匹配多樣性數(shù)據(jù),計算更高效。
在數(shù)據(jù)接入領(lǐng)域,華為引領(lǐng)多樣性數(shù)據(jù)連接,通過智能全連接,加速數(shù)據(jù)流動,讓應(yīng)用與數(shù)據(jù)連接更高效。
在存儲領(lǐng)域,為應(yīng)對存儲效率低、管理復(fù)雜的問題,華為重定義存儲架構(gòu),從單一類型存儲到多樣性融合存儲,構(gòu)建融合處理基礎(chǔ),大幅提升效率。
在數(shù)據(jù)處理領(lǐng)域,為應(yīng)對更實時和智能的需求,華為重定義數(shù)據(jù)處理平臺,從單一處理到智能融合處理,加速實現(xiàn)數(shù)據(jù)價值。
在數(shù)據(jù)使能領(lǐng)域,打造創(chuàng)新的數(shù)據(jù)使能平臺,構(gòu)建數(shù)據(jù)處理與業(yè)務(wù)創(chuàng)新的橋梁,提升業(yè)務(wù)體驗,讓業(yè)務(wù)更敏捷。
據(jù)企業(yè)網(wǎng)D1Net記者了解,華為本次發(fā)布的智能數(shù)據(jù)解決方案FusionData包含數(shù)據(jù)接入、數(shù)據(jù)處理和數(shù)據(jù)使能這三個部件。其中,數(shù)據(jù)接入ROMA解決多樣性數(shù)據(jù)接入問題,連接企業(yè)應(yīng)用和數(shù)據(jù),消除數(shù)據(jù)孤島;數(shù)據(jù)處理解決數(shù)據(jù)融合分析難的問題,實現(xiàn)數(shù)據(jù)免搬遷,高效分析。
數(shù)據(jù)使能解決用戶找數(shù)難,取數(shù)難的問題,讓用戶獲得“ATM”式的數(shù)據(jù)自助獲取與分析體驗,提升數(shù)據(jù)使用效率,讓業(yè)務(wù)更敏捷。
這三個部件的具體能力及關(guān)鍵技術(shù)如下:
智能數(shù)據(jù)連接部件ROMA支持多數(shù)據(jù)源接入、消息和API的統(tǒng)一管理、智能通道選擇等技術(shù)實現(xiàn)智能全連接,加速數(shù)據(jù)流動,讓應(yīng)用與數(shù)據(jù)連接更高效。
多數(shù)據(jù)源接入:支持1100多種應(yīng)用和異構(gòu)數(shù)據(jù)源接入,通過開放式數(shù)據(jù)接入框架可靈活接入第三方數(shù)據(jù)源。
消息和API的統(tǒng)一管理:支持分布式消息和API的路由統(tǒng)一配置管理,輕松實現(xiàn)分布式消息和API服務(wù)的跨網(wǎng)跨域跨云集成,讓數(shù)據(jù)自由流動。
智能通道選擇:支持?jǐn)?shù)據(jù)多通道傳輸,并且可根據(jù)數(shù)據(jù)特點(diǎn)智能選擇傳送通道,大幅提升數(shù)據(jù)接入效率。
智能數(shù)據(jù)處理部件包含分布式存儲FusionStorage、分布式數(shù)據(jù)庫GaussDB和大數(shù)據(jù)平臺FusionInsight等,通過多類型數(shù)據(jù)融合存儲、融合分析引擎等技術(shù)實現(xiàn)從單一處理到智能融合處理,加速實現(xiàn)數(shù)據(jù)價值。
多類型數(shù)據(jù)融合存儲:通過存儲與計算分離技術(shù),打破系統(tǒng)煙囪式建設(shè);通過智能分布式存儲的多協(xié)議融合技術(shù),實現(xiàn)一份數(shù)據(jù)同時支持?jǐn)?shù)據(jù)庫、大數(shù)據(jù)、AI等多種業(yè)務(wù)的分析需求,讓融合數(shù)據(jù)分析成為可能。
融合分析引擎:支持?jǐn)?shù)據(jù)庫、大數(shù)據(jù)、AI多引擎融合分析和多樣性算力統(tǒng)一調(diào)度。通過統(tǒng)一架構(gòu),降低海量數(shù)據(jù)處理難度,實現(xiàn)極簡分析。
智能數(shù)據(jù)使能部件DAYU通過智能元數(shù)據(jù)感知和OneQuery Turbo 技術(shù)構(gòu)建數(shù)據(jù)處理與業(yè)務(wù)創(chuàng)新的橋梁,提升業(yè)務(wù)體驗,讓業(yè)務(wù)更敏捷。
智能元數(shù)據(jù)感知:通過AI技術(shù),自動感知和采集多個系統(tǒng)的元數(shù)據(jù),并進(jìn)行智能化分級分類,生成全局統(tǒng)一的數(shù)據(jù)視圖,數(shù)據(jù)尋找秒級響應(yīng)。
OneQuery Turbo :提供統(tǒng)一的數(shù)據(jù)訪問接口,實現(xiàn)多數(shù)據(jù)源、多類型數(shù)據(jù)的統(tǒng)一訪問,簡化數(shù)據(jù)加工流程,數(shù)據(jù)獲取速度提升10倍以上。