在安防行業(yè),涉及的數(shù)據(jù)信息類型很多,以數(shù)據(jù)的結(jié)構(gòu)類型來看,包括了各類非結(jié)構(gòu)化、結(jié)構(gòu)化以及半結(jié)構(gòu)化信息。非結(jié)構(gòu)化數(shù)據(jù)主要指視頻錄像和圖片記錄,如監(jiān)控視頻錄像、報(bào)警錄像、摘要錄像……
今年,安防行業(yè)得到很到的發(fā)展,作為主力軍的監(jiān)控市場更是耀眼矚目。監(jiān)控應(yīng)用的范圍越來越大,勢必會(huì)長大量的數(shù)據(jù)。與此相應(yīng)的我們的大數(shù)據(jù)時(shí)代已經(jīng)帶到來,大數(shù)據(jù)技術(shù)如何用科學(xué)的方式處理數(shù)據(jù),會(huì)帶來怎樣的價(jià)值?
大數(shù)據(jù)信息來源豐富
在安防行業(yè),涉及的數(shù)據(jù)信息類型很多,以數(shù)據(jù)的結(jié)構(gòu)類型來看,包括了各類非結(jié)構(gòu)化、結(jié)構(gòu)化以及半結(jié)構(gòu)化信息。非結(jié)構(gòu)化數(shù)據(jù)主要指視頻錄像和圖片記錄,如監(jiān)控視頻錄像、報(bào)警錄像、摘要錄像、車輛卡口圖片、人臉抓拍圖片、報(bào)警抓拍圖片等;結(jié)構(gòu)化數(shù)據(jù)則包括報(bào)警記錄、系統(tǒng)日志記錄、運(yùn)維數(shù)據(jù)記錄、摘要分析結(jié)構(gòu)化描述記錄,以及各種相關(guān)的信息數(shù)據(jù)庫,如人口信息、地理數(shù)據(jù)信息、車駕管信息等;半結(jié)構(gòu)化數(shù)據(jù)則如人臉建模數(shù)據(jù)、指紋記錄等。
這些信息的來源有幾個(gè)渠道,一個(gè)是安防系統(tǒng)內(nèi)部產(chǎn)生的信息,如各種視頻錄像、抓拍圖片、系統(tǒng)運(yùn)維數(shù)據(jù)、日志記錄、摘要記錄等;另外一些則是通過外部系統(tǒng)采集或者集成,如人口信息、地理數(shù)據(jù)信息、人臉庫數(shù)據(jù)、車駕管數(shù)據(jù)等。這些數(shù)據(jù)作為一個(gè)整體,構(gòu)成了安防系統(tǒng)或者說安防領(lǐng)域的大數(shù)據(jù)基礎(chǔ),并且具有以下特征:最顯著的是安防數(shù)據(jù)體量巨大并不斷快速膨脹,隨著視頻監(jiān)控圖像系統(tǒng)的不斷聯(lián)網(wǎng)和整合,以及視頻分辨率和幀率的不斷提高,實(shí)時(shí)視頻數(shù)據(jù)的存儲(chǔ)已經(jīng)從TB級(jí)別開始躍升到PB級(jí)別;其次,安防數(shù)據(jù)類型繁多,如上面提到的視頻、圖片、地理位置信息等等,而且隨著各類安防系統(tǒng)以及相關(guān)的信息系統(tǒng)的不斷整合,數(shù)據(jù)類型也會(huì)越來越多;另外,安防數(shù)據(jù)整體蘊(yùn)含的價(jià)值密度低,但是價(jià)值高。以視頻監(jiān)控?cái)?shù)據(jù)為例,在7×24小時(shí)連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅1、2分鐘,甚至1、2秒。同時(shí),這些信息更新頻率特別快,安防數(shù)據(jù)每時(shí)每刻都在大量產(chǎn)生,信息每時(shí)每刻都在更新。
大數(shù)據(jù)視頻監(jiān)控4V特點(diǎn)
在這些數(shù)據(jù)信息當(dāng)中,視頻監(jiān)控的數(shù)據(jù)占的比例不小,分析視頻監(jiān)控?cái)?shù)據(jù),發(fā)現(xiàn)它們主要呈現(xiàn)出:體積大、類型多、速度快、價(jià)值低這四大特點(diǎn),又被稱為是4V:Volume、Variety、Velocity、Value,具體解釋如下:
第一,數(shù)據(jù)體量巨大(Volume)。高清化帶來單個(gè)監(jiān)控點(diǎn)數(shù)據(jù)量即以指數(shù)級(jí)增長,例如單個(gè)1080PIPC30天就會(huì)產(chǎn)生2T數(shù)據(jù);IP化大聯(lián)網(wǎng)后,各平臺(tái)實(shí)現(xiàn)互聯(lián),平安城市網(wǎng)內(nèi)攝像頭數(shù)量達(dá)數(shù)萬數(shù)十萬級(jí)別,其數(shù)據(jù)量之巨大可想而知。
第二,數(shù)據(jù)類型繁多(Variety)。視頻監(jiān)控領(lǐng)域的視頻編碼格式包括:H.264、MPEG-4、MJPEG等多樣化的編碼方式。而同時(shí)隨著各類物聯(lián)網(wǎng)技術(shù)的融入到視頻監(jiān)控業(yè)務(wù),匯聚了包括各種傳感器、IT、CT系統(tǒng)產(chǎn)生的多樣的數(shù)據(jù)。業(yè)務(wù)系統(tǒng)需要把結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)相互關(guān)聯(lián),統(tǒng)一存儲(chǔ)。
第三,處理速度快(Velocity)。視頻數(shù)據(jù)隨時(shí)間快速增長,并以持續(xù)順序到達(dá)。在視頻監(jiān)控領(lǐng)域,視頻分析的效率決定價(jià)值,更低的延遲、更準(zhǔn)確的分析是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加,哪怕對TB級(jí)別的數(shù)據(jù)進(jìn)行視頻內(nèi)容的數(shù)據(jù)分析和檢索,采用串行計(jì)算模式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算,已遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。
第四,價(jià)值密度低(Value),效率要求高。在視頻監(jiān)控業(yè)務(wù)中,價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。一小時(shí)的視頻監(jiān)控內(nèi)容,可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。
架構(gòu)更加靈活 伸縮彈性更大
對于大數(shù)據(jù)的視頻監(jiān)控處理,我們根據(jù)數(shù)據(jù)的特點(diǎn),基于大數(shù)據(jù)的架構(gòu),幾種視頻監(jiān)控?cái)?shù)據(jù)在處理起來的時(shí)候更加的方便。
第一,架構(gòu)更加靈活,伸縮彈性更大
對于一些中大型項(xiàng)目,由于起點(diǎn)的差異,缺乏視頻監(jiān)控架構(gòu)的頂層設(shè)計(jì),后期的擴(kuò)容升級(jí)難免尾大不掉,如在建設(shè)初期就引入面向大數(shù)據(jù)的架構(gòu),為業(yè)務(wù)擴(kuò)張和管理帶來好處。
第二,以廉價(jià)通用硬件迎合視頻監(jiān)控?cái)?shù)據(jù)的爆發(fā)性增長
在面向大數(shù)據(jù)的架構(gòu)中,可根據(jù)視頻監(jiān)控業(yè)務(wù)的部署需要,設(shè)立多個(gè)HDFS集群組成,采集的流數(shù)據(jù)會(huì)被劃分成段,并分布于數(shù)據(jù)節(jié)點(diǎn),這些數(shù)據(jù)節(jié)點(diǎn)可以采用廉價(jià)通用型的硬件,由軟件技術(shù)保證其高可靠性,這種方式避免采用傳統(tǒng)高端硬件的模式,大大降低投資成本。
第三,通過高速并行計(jì)算實(shí)現(xiàn)智能分析和數(shù)據(jù)挖掘
對于金礦來講,唯有熠熠發(fā)光的金子才是有價(jià)值,視頻監(jiān)控?cái)?shù)據(jù)就猶如這樣一座金礦,傳統(tǒng)人工和串行的數(shù)據(jù)篩選方式已在大數(shù)據(jù)時(shí)代不能滿足要求。面向大數(shù)據(jù)的架構(gòu)原理就是將海量數(shù)據(jù)分解為較小的更易訪問的批量數(shù)據(jù),在多臺(tái)服務(wù)器上并行分析處理,從而大大加快視頻數(shù)據(jù)的處理進(jìn)程。
結(jié)合視頻監(jiān)控業(yè)務(wù)特點(diǎn),引入Hadoop的架構(gòu),以頂層設(shè)計(jì)的視角來構(gòu)建面向大數(shù)據(jù)視頻監(jiān)控架構(gòu),將對未來視頻監(jiān)控業(yè)務(wù)的規(guī)劃設(shè)計(jì)產(chǎn)生深遠(yuǎn)的影響。下面簡要描述下大數(shù)據(jù)視頻監(jiān)控邏輯架構(gòu)。
數(shù)據(jù)源層,包括實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)指IP攝像頭和傳感器產(chǎn)生的實(shí)時(shí)流媒體數(shù)據(jù)。非實(shí)時(shí)數(shù)據(jù)指從DVR、編碼器、第三方系統(tǒng)導(dǎo)入的媒體數(shù)據(jù)。
大數(shù)據(jù)存儲(chǔ)層,采用了HDFS和HBASE,實(shí)現(xiàn)數(shù)據(jù)低成本、高可靠的管理。把采集的視頻流保存在HDFS集群內(nèi),并通過HBase建立訪問的索引。把傳統(tǒng)NVR和專用存儲(chǔ)進(jìn)行重構(gòu),納入到整體的分布式文件系統(tǒng)中來。
大數(shù)據(jù)計(jì)算層,實(shí)現(xiàn)智能分析和數(shù)據(jù)挖掘。通過MapReduce把對大視頻的分析進(jìn)行分解,充分利用閑置資源,把計(jì)算任務(wù)交由多臺(tái)服務(wù)器進(jìn)行并行計(jì)算分析,另外一方面,根據(jù)智能分析產(chǎn)生的視頻元數(shù)據(jù),通過Hive挖掘視頻元數(shù)據(jù)的價(jià)值信息。業(yè)務(wù)及管理層,實(shí)現(xiàn)設(shè)備和業(yè)務(wù)管理?;赯ookeeper組成的服務(wù)器集群,可以保證業(yè)務(wù)系統(tǒng)的無故障運(yùn)營,基于Ganglia實(shí)現(xiàn)對攝像頭等設(shè)備的監(jiān)管。
基于大數(shù)據(jù)的視頻架構(gòu),本質(zhì)上是把視頻數(shù)據(jù)作為最有價(jià)值的資產(chǎn),以數(shù)據(jù)作為核心來構(gòu)建的技術(shù)架構(gòu),重點(diǎn)解決了海量的視頻數(shù)據(jù)分散和集中式存儲(chǔ)并存、多級(jí)分布問題,極大提升了非結(jié)構(gòu)化視頻數(shù)據(jù)讀寫的效率,為視頻監(jiān)控的快速檢索、智能分析提供了端到端的解決方案。
大數(shù)據(jù)視屏監(jiān)控帶來的價(jià)值
大數(shù)據(jù)視頻架構(gòu)是革命性的技術(shù),特別在實(shí)時(shí)智能分析和數(shù)據(jù)挖掘方面,讓視頻監(jiān)控從人工抽檢,進(jìn)步到高效事前預(yù)警、事后分析,實(shí)現(xiàn)智能化的信息分析、預(yù)測,為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來深刻的變革。
視頻監(jiān)控進(jìn)入網(wǎng)絡(luò)化時(shí)代以后,越來越多融入IT新興技術(shù),大數(shù)據(jù)技術(shù)在視頻監(jiān)控領(lǐng)域的廣闊發(fā)展路徑已經(jīng)顯現(xiàn),不少廠家正致力于通過將大數(shù)據(jù)技術(shù)和視頻監(jiān)控業(yè)務(wù)的完美融合,打造大數(shù)據(jù)時(shí)代的視頻監(jiān)控解決方案。