星環(huán)Hadoop助力貴州交警跨入大數(shù)據(jù)時(shí)代

責(zé)任編輯:jacky

作者:星環(huán)科技

2015-09-08 16:22:32

來(lái)源:企業(yè)網(wǎng)D1Net

原創(chuàng)

區(qū)間測(cè)速則可以根據(jù)一輛車(chē)通過(guò)兩個(gè)或以上卡口的時(shí)間來(lái)計(jì)算出車(chē)輛在卡口間的速度,捕捉到超速行為。使用了大數(shù)據(jù)流處理技術(shù)幫助貴州交警建立了高度靈敏、快速響應(yīng)的機(jī)制,大大提高了交管部門(mén)的管理能力。

道路交通作為“衣食住行”中的“行”和我們的日常生活息息相關(guān)。我們對(duì)道路交通的需求無(wú)非是安全和快捷。但是在機(jī)動(dòng)車(chē)越來(lái)越多的今天,交通事故屢見(jiàn)不鮮,交通堵塞更是家常便飯,我們的需求顯得有些奢侈。要改變道路交通的現(xiàn)狀,我們不僅需要政府的宏觀舉措——增加道路建設(shè)、加強(qiáng)交通法規(guī)教育、發(fā)展公共交通等,更需要交管部門(mén)落到細(xì)節(jié)的管理。我國(guó)的機(jī)動(dòng)車(chē)保有量極大(一個(gè)省的機(jī)動(dòng)車(chē)數(shù)量在千萬(wàn)級(jí)別),道路交通還具有不受統(tǒng)一調(diào)度、行車(chē)軌跡復(fù)雜等特點(diǎn),管理難度很高。為了提高管理能力,各地的交管部門(mén)紛紛部署了統(tǒng)一的監(jiān)控系統(tǒng),通過(guò)電子眼、傳感器、測(cè)速器等設(shè)備對(duì)交通情況進(jìn)行全天候的監(jiān)控。

貴州省公安廳交管局基于Hadoop建成了國(guó)內(nèi)首個(gè)運(yùn)行在公安內(nèi)網(wǎng)上的省級(jí)交通大數(shù)據(jù)云平臺(tái),目前已投入使用運(yùn)行,該平臺(tái)可以利用大數(shù)據(jù)對(duì)海量的交通管理數(shù)據(jù)進(jìn)行全庫(kù)關(guān)聯(lián)、智能聯(lián)想、自動(dòng)研判、深度挖掘,為公共服務(wù)、交通管理等提供輔助決策支持。

平臺(tái)利用大數(shù)據(jù)實(shí)現(xiàn)了智能發(fā)現(xiàn)假牌或套牌車(chē)、布控?cái)r截違法車(chē)輛、伴隨車(chē)分析、旅行時(shí)間計(jì)算、道路流量統(tǒng)計(jì)、區(qū)間測(cè)速、碰撞車(chē)分析、自動(dòng)抓拍交通違法行為、“紅眼客車(chē)”查緝、根據(jù)車(chē)流量狀況智能調(diào)控交通燈等十大主要功能。

套牌車(chē)指擁有通過(guò)仿制、拼接等技術(shù)偽造與別的車(chē)輛相同的號(hào)牌的車(chē)輛。套牌車(chē)常被用作違法犯罪的工具,使案件難以偵察,給社會(huì)安全帶來(lái)了很大的威脅。過(guò)去要查獲一輛假牌或是套牌車(chē),依靠的是路面交警發(fā)現(xiàn)和群眾舉報(bào)。而現(xiàn)在貴州公安交警大數(shù)據(jù)平臺(tái)建立后,通過(guò)實(shí)時(shí)分析監(jiān)控技術(shù)對(duì)車(chē)輛經(jīng)過(guò)卡口時(shí)的監(jiān)控圖片進(jìn)行結(jié)構(gòu)化處理,根據(jù)“同一車(chē)輛在較短時(shí)間內(nèi)不可能同時(shí)經(jīng)過(guò)兩個(gè)相距較遠(yuǎn)的卡口”的原理,將單個(gè)時(shí)間窗口內(nèi)在全省產(chǎn)生的過(guò)車(chē)數(shù)據(jù)進(jìn)行比對(duì),在發(fā)現(xiàn)套牌車(chē)時(shí)立刻產(chǎn)生預(yù)警信息。信息一經(jīng)交警確認(rèn),交管部門(mén)可以立刻通知卡口附近的交警前往攔截。大大提高了追蹤套牌車(chē)的效率,可以幫助公安部門(mén)快速偵破套牌車(chē)所帶來(lái)的違法犯罪行為。

伴隨車(chē)指長(zhǎng)時(shí)間結(jié)伴而行的車(chē)輛。當(dāng)過(guò)車(chē)數(shù)據(jù)顯示多輛車(chē)在多個(gè)卡口短時(shí)間內(nèi)一起通過(guò),系統(tǒng)即會(huì)判定這些車(chē)輛為伴隨車(chē)。犯罪團(tuán)伙出動(dòng)時(shí),往往會(huì)駕駛多輛車(chē)協(xié)同作案。當(dāng)交管部門(mén)確認(rèn)某些路段會(huì)有犯罪團(tuán)伙經(jīng)過(guò),對(duì)這些路段的伴隨車(chē)分析可以迅速篩選出犯罪團(tuán)伙所用車(chē)輛并通知公安干警前往攔截。

旅行時(shí)間計(jì)算和道路流量統(tǒng)計(jì)則可以幫助處理和預(yù)防交通堵塞。對(duì)車(chē)輛通過(guò)卡口的時(shí)間點(diǎn)進(jìn)行計(jì)算,可以得到車(chē)輛在卡口之間所花的旅行時(shí)間。當(dāng)系統(tǒng)發(fā)現(xiàn)大量車(chē)輛的旅行時(shí)間突然變長(zhǎng),則說(shuō)明附近路段發(fā)生堵塞,系統(tǒng)會(huì)立刻發(fā)出預(yù)警,通知交警前往疏導(dǎo)。對(duì)各卡口過(guò)車(chē)數(shù)量的計(jì)數(shù)則可以計(jì)算出全省各條道路的實(shí)時(shí)流量,當(dāng)?shù)缆妨髁看髸r(shí),說(shuō)明路上車(chē)輛很多,極易發(fā)生碰擦進(jìn)而導(dǎo)致大面積交通癱瘓。所以大數(shù)據(jù)平臺(tái)會(huì)在流量過(guò)大時(shí)通知交警前往待命,以便在狀況發(fā)生后第一時(shí)間進(jìn)行處理。在道路單向流量過(guò)大時(shí),系統(tǒng)還可以使用信號(hào)燈將流量小方向的部分車(chē)道臨時(shí)調(diào)配給流量大的方向,實(shí)現(xiàn)流量均衡。

區(qū)間測(cè)速則可以根據(jù)一輛車(chē)通過(guò)兩個(gè)或以上卡口的時(shí)間來(lái)計(jì)算出車(chē)輛在卡口間的速度,捕捉到超速行為。通過(guò)將實(shí)時(shí)生成的過(guò)車(chē)數(shù)據(jù)與車(chē)管所的黑名單比對(duì),系統(tǒng)可以發(fā)現(xiàn)包括未年檢車(chē)輛、車(chē)主駕照吊銷(xiāo)車(chē)輛、報(bào)廢車(chē)輛等等并通知交警前往攔截。

使用了大數(shù)據(jù)流處理技術(shù)幫助貴州交警建立了高度靈敏、快速響應(yīng)的機(jī)制,大大提高了交管部門(mén)的管理能力。監(jiān)控型分析之外,大數(shù)據(jù)平臺(tái)還解決了交警海量數(shù)據(jù)的存儲(chǔ)和查詢問(wèn)題。新的系統(tǒng)中,機(jī)動(dòng)車(chē)違法圖像信息的保存周期從3個(gè)月延長(zhǎng)到了24個(gè)月。交警可以根據(jù)車(chē)輛的顏色、車(chē)型、號(hào)牌等信息實(shí)時(shí)查詢其歷史行為、行車(chē)路線和車(chē)輛營(yíng)運(yùn)公司、駕駛?cè)说汝P(guān)聯(lián)信息,只花秒級(jí)時(shí)間便可從幾十億條過(guò)車(chē)數(shù)據(jù)中的機(jī)動(dòng)車(chē)號(hào)牌查詢出精確結(jié)果和行車(chē)軌跡。值得一提的是新系統(tǒng)可以快速進(jìn)行碰撞車(chē)分析。碰撞車(chē)并不是指真正在道路上碰撞的車(chē)輛,而是公安部門(mén)的一個(gè)術(shù)語(yǔ),專(zhuān)指在兩組或以上的過(guò)車(chē)數(shù)據(jù)中重復(fù)出現(xiàn)的車(chē)輛。我們可以用一個(gè)例子來(lái)模擬解釋碰撞車(chē)分析的意義。如圖1所示:A地在某日凌晨2點(diǎn)、B地在同一日凌晨4點(diǎn)各發(fā)生一起盜竊案件,作案手法相同,公安機(jī)關(guān)認(rèn)定為同一團(tuán)伙所為。對(duì)A地附近卡口在該日凌晨2點(diǎn)左右和B地附近卡口在凌晨4點(diǎn)左右產(chǎn)生的過(guò)車(chē)記錄進(jìn)行比對(duì),重復(fù)出現(xiàn)的車(chē)輛就有犯罪嫌疑,公安部門(mén)可以迅速縮小偵察范圍。這些大數(shù)據(jù)平臺(tái)提供的新型管理功能都是基于分析型道路監(jiān)控技術(shù)實(shí)現(xiàn)的。

  圖1:碰撞車(chē)分析模擬圖

道路交通監(jiān)控可以分為兩類(lèi)——觀察型監(jiān)控和分析型監(jiān)控。觀察型監(jiān)控只需要監(jiān)控設(shè)備能夠觀察到特殊狀況,比如闖紅燈、違停、越線、超速等違章行為,并將該狀況發(fā)生的時(shí)間、地點(diǎn)和電子眼拍下的照片一同傳送給監(jiān)控中心,由交警進(jìn)行狀況的記錄和處罰的通知。我國(guó)交管部門(mén)的觀察型監(jiān)控的使用已經(jīng)相當(dāng)成熟,對(duì)違章行為的捕捉率非常高,有效地降低了違章率。分析型監(jiān)控就要復(fù)雜許多,常見(jiàn)的任務(wù)有套牌車(chē)分析、伴隨車(chē)分析、碰撞車(chē)分析、黑名單車(chē)輛預(yù)警、旅行時(shí)間計(jì)算、道路流量統(tǒng)計(jì)等等。這些任務(wù)需要交通卡口不間斷地識(shí)別和記錄所有經(jīng)過(guò)車(chē)輛的過(guò)車(chē)數(shù)據(jù),并且及時(shí)對(duì)這些數(shù)據(jù)進(jìn)行查找、關(guān)聯(lián)、比對(duì)等處理。因?yàn)橛涗洍l數(shù)多并且包含圖像信息,過(guò)車(chē)數(shù)據(jù)的體量非常龐大,對(duì)監(jiān)控系統(tǒng)的存儲(chǔ)、查詢和計(jì)算能力都提出了很高的要求。事實(shí)上,由于數(shù)據(jù)量過(guò)大,大多數(shù)交管部門(mén)只能采用離線分析進(jìn)行分析型監(jiān)控,也就是將一個(gè)周期內(nèi)(比如一天內(nèi))全部的過(guò)車(chē)數(shù)據(jù)都存儲(chǔ)起來(lái)后再對(duì)整個(gè)數(shù)據(jù)集進(jìn)行計(jì)算。這種處理方式顯然延時(shí)過(guò)高,監(jiān)控系統(tǒng)在特殊狀況發(fā)生很久以后才能將結(jié)果報(bào)告給交警。而分析型監(jiān)控的任務(wù)常常具有時(shí)效性,比如黑名單車(chē)輛通過(guò)某個(gè)卡口時(shí),需要系統(tǒng)立刻捕捉到這一行為并通知卡口附近的交警前往攔截;再比如道路流量統(tǒng)計(jì)的目的是進(jìn)行紅綠燈調(diào)控或者通知交警在某地交通流量過(guò)大,要馬上前去疏導(dǎo)。離線分析的高延時(shí)使得交警無(wú)法對(duì)這些狀況進(jìn)行及時(shí)響應(yīng)。

分析型監(jiān)控的技術(shù)難點(diǎn)在于監(jiān)控系統(tǒng)需要在不斷產(chǎn)生的、海量的、格式多樣的過(guò)車(chē)數(shù)據(jù)中快速發(fā)現(xiàn)問(wèn)題,最好可以在問(wèn)題發(fā)生時(shí)就發(fā)出警告,甚至在問(wèn)題發(fā)生之前發(fā)出預(yù)警。交管部門(mén)傳統(tǒng)使用的數(shù)據(jù)庫(kù)能力有限,無(wú)法滿足實(shí)時(shí)性分析的需求。所幸,這個(gè)難題恰好是近年來(lái)熱門(mén)的大數(shù)據(jù)技術(shù)的強(qiáng)項(xiàng)。大數(shù)據(jù)技術(shù)以其分布式的計(jì)算方式尤其擅長(zhǎng)對(duì)海量數(shù)據(jù)的快速處理。大數(shù)據(jù)發(fā)展到現(xiàn)在已經(jīng)有相對(duì)成熟的技術(shù)來(lái)處理以下三種問(wèn)題:復(fù)雜的批量數(shù)據(jù)處理、基于歷史數(shù)據(jù)的交互式查詢和基于實(shí)時(shí)數(shù)據(jù)的流處理。其中的流處理,顧名思義,是在數(shù)據(jù)產(chǎn)生并流入系統(tǒng)時(shí)就進(jìn)行處理并馬上得出結(jié)果,非常適合分析型監(jiān)控中過(guò)車(chē)數(shù)據(jù)不斷產(chǎn)生的場(chǎng)景和對(duì)實(shí)時(shí)性的需求。日前,貴州交警就在公安部無(wú)錫所(交通管理科學(xué)研究所)的幫助下部署了基于Hadoop技術(shù)的大數(shù)據(jù)平臺(tái),利用流處理技術(shù)做到了實(shí)時(shí)的分析型監(jiān)控。

此外,依托大數(shù)據(jù)平臺(tái)的處理能力,貴州交警還實(shí)現(xiàn)了車(chē)輛綜合監(jiān)管,將全省5.33萬(wàn)家運(yùn)輸企業(yè)、59.9萬(wàn)名運(yùn)輸駕駛?cè)恕?755家重點(diǎn)監(jiān)管企業(yè)、5.3萬(wàn)臺(tái)重點(diǎn)監(jiān)管車(chē)輛、4341家租賃企業(yè)、3.5萬(wàn)臺(tái)租賃車(chē)輛全部納入動(dòng)態(tài)監(jiān)管,對(duì)異常行為自動(dòng)預(yù)警、自動(dòng)提示,對(duì)駕駛?cè)诉`法行為實(shí)時(shí)監(jiān)控、精確干預(yù),能準(zhǔn)確地對(duì)凌晨不按規(guī)定時(shí)間行駛的“紅眼客車(chē)”進(jìn)行查緝。除了監(jiān)管,大數(shù)據(jù)平臺(tái)在公共服務(wù)方面也具有很大優(yōu)勢(shì),利用的大數(shù)據(jù)平臺(tái)的數(shù)據(jù)和服務(wù)支撐能力,開(kāi)發(fā)了 “貴州交警APP”,能自助處理交通違法、自主預(yù)約駕考、路況查詢等,大大方便了群眾。

貴州在全國(guó)率先實(shí)現(xiàn)了省級(jí)聯(lián)網(wǎng)的交警大數(shù)據(jù)平臺(tái)。要處理的不僅是省內(nèi)各地市的監(jiān)控信息,還有各地市之間交通的數(shù)據(jù),因而數(shù)據(jù)量非常龐大,處理邏輯也遠(yuǎn)高于普通市級(jí)系統(tǒng)。在全省部署的上千個(gè)卡口每時(shí)每刻都捕獲著大量包含圖像和視頻的過(guò)車(chē)數(shù)據(jù),在高峰期可達(dá)每秒近萬(wàn)條,每月的數(shù)據(jù)量可達(dá)TB級(jí)別。傳統(tǒng)布控系統(tǒng)使用的Oracle數(shù)據(jù)庫(kù)在處理如此大量的數(shù)據(jù)時(shí)捉襟見(jiàn)肘。部署了大數(shù)據(jù)平臺(tái)后,數(shù)據(jù)量過(guò)大帶來(lái)的存儲(chǔ)、查詢和計(jì)算方面的一系列問(wèn)題都得到了解決。尤其是新系統(tǒng)中的流處理引擎成功地做到了對(duì)套牌假牌車(chē)分析、伴隨車(chē)分析、黑名單車(chē)預(yù)警、區(qū)間測(cè)速、路線指引、旅行時(shí)間計(jì)算、道路流量統(tǒng)計(jì)等分析型監(jiān)控的實(shí)時(shí)分析和實(shí)時(shí)預(yù)警。圖2描述了貴州交警分析性的軟件邏輯架構(gòu):

  圖2:軟件邏輯架構(gòu)

通過(guò)貴州交警對(duì)大數(shù)據(jù)技術(shù)的利用,我們看到選擇高性能的大數(shù)據(jù)處理平臺(tái)可以大大提高交管部門(mén)的管理能力和效率。本次貴州交警部署的新緝查系統(tǒng)底層采用了星環(huán)科技(更多詳情請(qǐng)見(jiàn)星環(huán)科技官網(wǎng)www.transwarp.io)的分布式大數(shù)據(jù)處理平臺(tái)Transwarp Data Hub(TDH)。TDH基于Hadoop,對(duì)海量數(shù)據(jù)的存儲(chǔ)、查詢和分析都很擅長(zhǎng),尤其是平臺(tái)下的流處理引擎Streaming利用目前大數(shù)據(jù)處理領(lǐng)域中最快的計(jì)算框架Spark,擁有高吞吐、低延時(shí)的優(yōu)點(diǎn),使貴州交警在交通指揮管理中發(fā)揮了強(qiáng)大的作用。在交通監(jiān)控系統(tǒng)中使用大數(shù)據(jù)技術(shù)不僅可以在突發(fā)事件中提高交警的響應(yīng)速度,還可以為政府對(duì)道路建設(shè)和相關(guān)法規(guī)進(jìn)行改進(jìn)提供依據(jù)。例如,道路流量分析可以為公路局指出最需要新增和拓寬道路的地點(diǎn),交通事故統(tǒng)計(jì)可以讓交管部門(mén)在事故高發(fā)路段安裝更清晰的警示標(biāo)志或者重新設(shè)置限速等等。

交通擁堵和安全問(wèn)題越發(fā)嚴(yán)重的今天,全國(guó)各省都在計(jì)劃部署省級(jí)的大數(shù)據(jù)平臺(tái), 全國(guó)聯(lián)網(wǎng)也是大勢(shì)所趨,屆時(shí),系統(tǒng)所面臨的數(shù)據(jù)處理任務(wù)將更加艱巨。基于Hadoop的大數(shù)據(jù)平臺(tái)擴(kuò)展性極強(qiáng),存儲(chǔ)和計(jì)算能力都可以無(wú)限提升,今后會(huì)發(fā)揮更大的威力。充分運(yùn)用大數(shù)據(jù)技術(shù),使道路建設(shè)、法規(guī)制定和事件處理配合無(wú)間,讓交通管理變得更加“智慧”,道路交通時(shí)時(shí)處處安全、快捷的實(shí)現(xiàn)也就指日可待。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)