《企業(yè)網(wǎng)D1Net》11月27日訊

近年來，我國快遞行業(yè)的規(guī)模隨著電子商務(wù)的井噴出現(xiàn)了快速的擴(kuò)張。據(jù)統(tǒng)計，全國現(xiàn)在已有上百萬快遞從業(yè)人員、十幾萬營業(yè)網(wǎng)點(diǎn)、幾十萬輛快遞貨車和一年近百億件業(yè)務(wù)量。這些數(shù)字還在以每年超過40%的速率增長。天文數(shù)字的市場需求給快遞公司帶來了巨大的商機(jī)和前所未有的挑戰(zhàn)。

首先，快遞行業(yè)公司眾多，彼此競爭極為激烈，在人工價格上升的趨勢下還要維持服務(wù)的低價并且盈利，就必須嚴(yán)格控制成本。而每年的“雙十一”會給公司的處理能力施加遠(yuǎn)高于平時的壓力。想必各位買家都已經(jīng)歷了今年“雙十一”后長達(dá)數(shù)天乃至一二周的漫長等待。因此，怎樣緩解“雙十一”的爆倉、避免快件變“慢件”是每個快遞公司的難題。

“老問題新辦法”，星環(huán)科技和華勝天成聯(lián)手為國內(nèi)某著名物流公司打造了面向未來的大數(shù)據(jù)Hadoop系統(tǒng)。依靠該系統(tǒng)強(qiáng)大的實時數(shù)據(jù)處理能力，物流公司的“雙十一”效率明顯比往年高很多。

在項目研究階段，星環(huán)科技和華勝天成的開發(fā)人員發(fā)現(xiàn)快遞的效率其實在于流程管理，而當(dāng)流程全部計算機(jī)化后，快遞公司面臨的難題的答案其實就在自己手中 —— 它就是快遞的每一個生產(chǎn)環(huán)節(jié)都會產(chǎn)生的大量數(shù)據(jù)。監(jiān)控這些數(shù)據(jù)進(jìn)而對全國各處理中心的收寄和運(yùn)載能力、出班投遞計劃做優(yōu)化調(diào)整，公司就能降低成本。分析這些數(shù)據(jù)來對“雙十一”的趨勢做出預(yù)測，公司就能做好準(zhǔn)備應(yīng)對暴漲的需求。然而，快遞生產(chǎn)環(huán)節(jié)中的數(shù)據(jù)具有數(shù)據(jù)量大、類型復(fù)雜、結(jié)構(gòu)雜亂的特點(diǎn)，而上層應(yīng)用對實時性要求很高，傳統(tǒng)數(shù)據(jù)庫在這樣的情況下捉襟見肘，所以快遞公司需要大數(shù)據(jù)解決方案。

問題與需求

客戶需要搭建一個大數(shù)據(jù)平臺來對它在全國的攬投部、處理中心和集散中心的數(shù)據(jù)(包括已接收、留存件、已下段、未下段、已投遞、未投遞、攬收員、地址、已封發(fā)、已發(fā)運(yùn)、未發(fā)運(yùn)等等)進(jìn)行處理。大數(shù)據(jù)平臺需要將ESB(企業(yè)生產(chǎn)總線)流來的數(shù)據(jù)實時動態(tài)加載進(jìn)數(shù)據(jù)庫，進(jìn)行處理和統(tǒng)計并且實現(xiàn)實時數(shù)據(jù)查詢?？蛻粼鹊募夹g(shù)在每次處理數(shù)據(jù)時都需要對所有數(shù)據(jù)進(jìn)行一次全面ETL(萃取-轉(zhuǎn)置-加載)，查詢延時在二十分鐘以上，完全無法進(jìn)行實時查詢。

星環(huán)Hadoop發(fā)行版TDH方案實施效果

上圖為TDH平臺中的所有組件。在快遞公司項目中，這些組件中起主要作用的是Transwarp Stream，Transwarp Hyperbase和Transwarp Inceptor。

Transwarp Stream 實時流處理引擎以Spark Streaming為基礎(chǔ)提供強(qiáng)大的流處理能力，它擁有：

●更強(qiáng)的表達(dá)能力：支持DAG計算模型

●豐富的輸出方式：HBase，告警頁面，實時展示頁面

●廣泛的應(yīng)用場景：傳感器網(wǎng)絡(luò)處理，服務(wù)監(jiān)控，反作弊

Transwarp Hyperbase 實時在線數(shù)據(jù)處理引擎以Apache HBase為基礎(chǔ)，是企業(yè)建立高并發(fā)的在線業(yè)務(wù)系統(tǒng)的最佳選擇。它擁有：

●多種數(shù)據(jù)類型的支持: 支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)

●高速處理能力: 延時在數(shù)毫秒到數(shù)百毫秒級，上億并發(fā)

●OLAP和批量統(tǒng)計: 支持高速的OLAP統(tǒng)計和SQL離線批處理

●高效的圖形計算: 提供圖形構(gòu)造API和專有的高效圖算法

Transwarp Inceptor 內(nèi)存分析引擎提供大數(shù)據(jù)的高速交互式SQL統(tǒng)計和R語言挖掘。它擁有：

●更快的性能: 比Hadoop快10倍到100倍，比MPP快2倍到10倍

●更強(qiáng)SQL支持: 兼容Oracle PL/SQL和HiveQL語法

●更強(qiáng)分析能力: 支持R語言，提供更多的并行化算法

●BI和報表工具：支持Tableau,SAP BO， Oracle OBIEE

●超高擴(kuò)展能力：線性擴(kuò)展，支持GB到PB數(shù)據(jù)的快速處理

●超強(qiáng)穩(wěn)定性：經(jīng)過驗證的穩(wěn)定版本，7x24小時不間斷運(yùn)行

這三大組件在快遞公司項目中的工作流程為(如下圖所示)：從ESB總線和網(wǎng)絡(luò)文件加載數(shù)據(jù)到Transwarp Stream 集群中進(jìn)行處理;處理完畢后存入Transwarp Hyperbase;提供API給上層J2EE應(yīng)用實時查詢數(shù)據(jù);也可以提供JDBC接口給上層J2EE應(yīng)用從基于Hyperbase建立的Inceptor外表中實時查詢數(shù)據(jù)。

TDH通過此項目在國內(nèi)乃至全球的快遞行業(yè)中首次用大數(shù)據(jù)Hadoop發(fā)行版實現(xiàn)了生產(chǎn)環(huán)節(jié)數(shù)據(jù)的實時監(jiān)控。雙十一期間完全支持住了年度峰值般巨量包裹數(shù)據(jù)的實時監(jiān)測。即便如此，產(chǎn)品的技術(shù)性能并未完全用滿，這為后續(xù)業(yè)務(wù)的不斷增長留下了廣闊余地。具體效果如下：

●數(shù)據(jù)實現(xiàn)實時導(dǎo)入：數(shù)據(jù)從ESB總線上流入、TDH處理完畢到查詢結(jié)果顯示的整個過程不超過1秒，導(dǎo)入平均速度為每秒1700條，僅需要用到TDH最高性能的1/500。

●數(shù)據(jù)處理時間迅速：Transwarp Stream對單條數(shù)據(jù)的處理在毫秒級完成，平均一條記錄從處理到進(jìn)入Transwarp Hyperbase只需要1-2毫秒左右。

●數(shù)據(jù)查詢簡單高效：合作方的J2EE應(yīng)用要求的秒級查詢能由TDH平臺輕松勝任。而TDH提供的Java API和JDBC接口可以非常簡單地與現(xiàn)有系統(tǒng)進(jìn)行集成從而實現(xiàn)數(shù)據(jù)查詢，對于現(xiàn)有的企業(yè)級開發(fā)環(huán)境極其友好，應(yīng)用遷移難度很小，快遞公司的工作人員可以無學(xué)習(xí)成本地上手使用。

TDH可毫無延遲地反映快遞公司遍布全國的海量業(yè)務(wù)的最真實情況，給了快遞公司簡單易用的工具來對業(yè)務(wù)的每個環(huán)節(jié)實時監(jiān)控，使得快遞公司在海量的快遞業(yè)務(wù)中都可以快速精準(zhǔn)地發(fā)現(xiàn)問題，如快件的積壓、遺失、破損等，進(jìn)而提高服務(wù)質(zhì)量。TDH也可以根據(jù)最新的生產(chǎn)數(shù)據(jù)幫助快遞公司隨時調(diào)整優(yōu)化投遞計劃，為公司降低成本。TDH更可以幫助快遞公司分析趨勢，為“雙十一”和其他節(jié)假日帶來的壓力提前做好準(zhǔn)備。