數(shù)據(jù)共享存在的問題
共享是當(dāng)下非常流行的一個詞匯。在我們掌握資源不充足的情況下,通過其他資源的擁有者提供有價值的資源和信息形成合力是共享的現(xiàn)實(shí)目的。視頻內(nèi)容共享平臺(以下稱共享平臺)大致位于PAAS層,其必然以視頻為核心共享資源,以數(shù)據(jù)為主要接入領(lǐng)域,以共享為核心精神理念,突出了能力開放,并且可以內(nèi)嵌數(shù)據(jù)碰撞技術(shù)。共享平臺的任務(wù)應(yīng)該是將資源分門別類地管理起來,將獲取的非視頻類數(shù)據(jù)存入數(shù)據(jù)湖進(jìn)行存儲、碰撞和關(guān)聯(lián),并且提供能力開放中間件,針對各種應(yīng)用場景提供最大限度的開放能力特別是視頻和數(shù)據(jù)能力,有效地降低SAAS層業(yè)務(wù)軟件的開發(fā)門檻。
傳統(tǒng)的共享平臺,其著重點(diǎn)在“平臺”,因此其產(chǎn)品多是類似某某系統(tǒng)某某客戶端這樣的看得見摸得著的東西。本文中提到的共享平臺,其著重點(diǎn)在“共享”,其產(chǎn)品是服務(wù)和能力而不是具體的客戶端或者某某系統(tǒng)。具體呈現(xiàn)等這些可見化產(chǎn)品可以由第三方來完成。
數(shù)據(jù)共享存在的問題
異構(gòu)排他
在不同廠家的數(shù)據(jù)平臺建設(shè)中,由于各個廠家內(nèi)行的運(yùn)行機(jī)制和報文協(xié)議的差異,導(dǎo)致兩兩不同廠家的數(shù)據(jù)平臺往往不能直接互通,我們稱這種現(xiàn)象為“異構(gòu)排他”。在這種環(huán)境下,無論是交互的報文還是流轉(zhuǎn)的數(shù)據(jù),必須通過修正才能無縫地銜接到另一方的平臺中從而實(shí)現(xiàn)單向共享。
組網(wǎng)復(fù)雜
在智慧城市領(lǐng)域組網(wǎng)情況較為復(fù)雜,尤其是政務(wù)辦公系統(tǒng)和平安城市系統(tǒng),其網(wǎng)絡(luò)環(huán)境包括視頻專網(wǎng)、視頻內(nèi)網(wǎng)、政府政務(wù)辦公網(wǎng)、互聯(lián)網(wǎng)等。兩兩單位之間的互傳,往往要跨越數(shù)個網(wǎng)絡(luò)環(huán)境,而中間也必然包含了網(wǎng)閘、安全接入平臺、NAT服務(wù)器等多種網(wǎng)絡(luò)設(shè)備,在向公眾發(fā)布數(shù)據(jù)資源的時候還要考慮CDN的影響。
所有這些,構(gòu)成了復(fù)雜組網(wǎng)情況下資源互通的通路性障礙。尤其是在處理視頻、交警過車等大流量數(shù)據(jù)的時候,需要對每種組網(wǎng)情況進(jìn)行數(shù)據(jù)的針對性包裝,并且在交互的時候要根據(jù)每種網(wǎng)絡(luò)設(shè)備的情況進(jìn)行特定的交互處理。
海量數(shù)據(jù)
智慧城市領(lǐng)域中的數(shù)據(jù)是包羅萬象的,其中交通領(lǐng)域的過車信息、公安領(lǐng)域的視頻監(jiān)控都是海量的數(shù)據(jù)。這些數(shù)據(jù)動輒以億條/TB為單位,他們的傳輸、存儲、管理等都面臨著空前的壓力和困難。
穩(wěn)定性傳導(dǎo)
不同廠家的產(chǎn)品其穩(wěn)定性、使用性、兼容性參差不齊,在數(shù)據(jù)資源的供給側(cè),如果數(shù)據(jù)生產(chǎn)和傳輸?shù)姆?wù)宕機(jī)會影響到整個數(shù)據(jù)鏈路的傳輸和穩(wěn)定,并且最終體現(xiàn)在數(shù)據(jù)資源的消費(fèi)側(cè),這對于數(shù)據(jù)平臺的集成方是一個不可忽視的問題。
安全控制
安全控制體現(xiàn)在權(quán)限管理、數(shù)據(jù)加密、入侵檢測、反病毒等多個方面。由于異構(gòu)問題,導(dǎo)致權(quán)限兼容性差,未考慮邊緣問題等;并且同樣由于異構(gòu)問題,導(dǎo)致核心信息需采用明文傳輸;在互聯(lián)網(wǎng)一側(cè),由于遠(yuǎn)程過程調(diào)用權(quán)限甚至服務(wù)器權(quán)限的開放,導(dǎo)致種種異常主機(jī)入侵和非法模塊注入的問題。
你認(rèn)為的共享平臺是這樣的?
<1 2 3 4 >閱讀全文
共享平臺建設(shè)輔助技術(shù)共享平臺作為PAAS層的平臺,提供的是能力和服務(wù),當(dāng)然也可以基于能力和服務(wù)開發(fā)具體的SAAS層產(chǎn)品,但不是主業(yè),從這個意義上說,共享平臺就是能力開放中間件。以下技術(shù)可以使共享平臺架構(gòu)更加合理、安全性更高,兼容性更強(qiáng),資源分類和提供更加智能化。
1、綜合管理技術(shù)
共享平臺集成多種數(shù)據(jù)資源,必然需要用到綜合管理技術(shù)。以Activity工作流機(jī)制驅(qū)動綜合管理,可以根據(jù)現(xiàn)場不同的業(yè)務(wù)需求場景自定義工作流模板,表單可以復(fù)用,極大地簡化了定制開發(fā)工作量。ProcessEngine對象和Activity工作流引擎是Activiti工作的核心,負(fù)責(zé)生成流程運(yùn)行時的各種實(shí)例及數(shù)據(jù)、監(jiān)控和管理流程的運(yùn)行。目前主流的工作流框架還有:JBPM、OSWorkFlow、WorkFlow等,都可以用來改進(jìn)綜合管理的細(xì)節(jié)。
圖 1 Activiti 引擎的系統(tǒng)服務(wù)結(jié)構(gòu)圖
2、深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)
目前主流的智能分析產(chǎn)品均已采用了深度學(xué)習(xí)技術(shù)。相較于深度學(xué)習(xí),淺度學(xué)習(xí)(例如adaboost算法)是基于統(tǒng)計模型的機(jī)器學(xué)習(xí)算法。利用BP(反向傳播)算法讓一個人工神經(jīng)網(wǎng)絡(luò)模型從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計規(guī)律,從而對未知事件做預(yù)測。這種基于統(tǒng)計的機(jī)器學(xué)習(xí)方法比起早先基于人工規(guī)則的系統(tǒng),在很多方面顯出優(yōu)越性。這種人工神經(jīng)網(wǎng)絡(luò),雖也被稱作多層感知機(jī)(Multi-layer Perception),但實(shí)際是種只含有一層隱層節(jié)點(diǎn)的淺層模型。
深度學(xué)習(xí)的實(shí)質(zhì),是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù),來學(xué)習(xí)更有用的特征,從而最終提升分類或預(yù)測的準(zhǔn)確性。因此,“深度模型”是手段,“特征學(xué)習(xí)”才是目的。
區(qū)別于傳統(tǒng)的淺層學(xué)習(xí),深度學(xué)習(xí)的不同在于:1)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度,通常有許多層的隱層節(jié)點(diǎn);2)明確突出了特征學(xué)習(xí)的重要性,也就是說,通過逐層特征變換,將樣本在原空間的特征表示變換到一個新特征空間,從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比,利用大數(shù)據(jù)來學(xué)習(xí)特征,更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。因此深度學(xué)習(xí)與大數(shù)據(jù)的結(jié)合是共享平臺的重要特征。
3、安全防御技術(shù)
針對共享類平臺,尤其是互聯(lián)網(wǎng)平臺的安全防御是非常重要的。安全防御包括網(wǎng)絡(luò)安全、web安全、防入侵、防注入、重要信息加密、權(quán)限管理等策略。因此共享平臺需要對安全防御做出規(guī)劃。
針對重要核心信息可以采用加密存儲和傳輸?shù)牟呗?,并且?guī)劃合理的分層級的權(quán)限管理策略,尤其是針對流媒體、文件媒體等資源,需要經(jīng)過認(rèn)證才能申請。
共享平臺可以采用核心軟件硬件化的策略防止不良模塊注入,并通過對重要系統(tǒng)調(diào)用掛鉤的方法監(jiān)控調(diào)用參數(shù)和調(diào)用行為,將這些參數(shù)和行為匯總到安全監(jiān)控模塊,并通過大數(shù)據(jù)模塊的分析產(chǎn)生常見調(diào)用行為和罕見調(diào)用行為的分析報表。
共享平臺也可以采用安裝過濾型驅(qū)動的方法監(jiān)控網(wǎng)絡(luò)流量。例如基于winpcap方式堆疊在NIC驅(qū)動之上,在鏈路層即開始監(jiān)控網(wǎng)絡(luò)流量信息,繞過NDIS、TCPIP協(xié)議驅(qū)動和AFD。
一般來說,過濾得越底層,防入侵側(cè)級別和安全性越高。這些大量的流量信息,包括源端和目的端、報文長度等細(xì)節(jié),可以作為重要數(shù)據(jù)源匯聚到大數(shù)據(jù)模塊,作為流量分析、網(wǎng)絡(luò)異常監(jiān)控的主要依據(jù)。
圖2 網(wǎng)絡(luò)協(xié)議棧驅(qū)動結(jié)構(gòu)圖
<1 2 3 4 >閱讀全文
共享平臺建設(shè)輔助技術(shù)4、流媒體處理和傳輸技術(shù)
基于平安城市領(lǐng)域的建設(shè)基礎(chǔ)和互聯(lián)網(wǎng)視頻發(fā)展的大趨勢,尤其是當(dāng)今三屏合一技術(shù)的發(fā)展,共享平臺應(yīng)該針對性地對管轄內(nèi)的視頻流進(jìn)行了整合和協(xié)議優(yōu)化,例如可以針對公安網(wǎng)、政務(wù)網(wǎng)、互聯(lián)網(wǎng)三大共享領(lǐng)域規(guī)劃對應(yīng)的兩個能力輸出中間件模塊,并針對視頻、圖片、文本數(shù)據(jù)三種數(shù)據(jù)類型分別予以考量。
基于公安網(wǎng)系統(tǒng)同時也應(yīng)考慮了網(wǎng)閘和安全接入平臺的存在。在具備安全接入平臺或網(wǎng)閘的情況下,要考慮其過濾傳輸?shù)乃俣?,因此在大?shù)據(jù)量的并發(fā)上可以采取一定的限制措施和存儲策略,盡量減輕網(wǎng)閘設(shè)備的負(fù)擔(dān)。并且采用最標(biāo)準(zhǔn)和通用的協(xié)議及方式進(jìn)行協(xié)商會話。
例如GB28181、RTSP、RTMP、webservice等,特別是對于流媒體的處理,既支持PSTSRTP以及特定封裝等方式的流式打包,又支持H.264、H.265、SVAC的編解碼和轉(zhuǎn)碼,同時支持從1080P到CIF分辨率和多碼率的自適應(yīng)轉(zhuǎn)換。為了支持傳輸和存儲的要求,也可以增加了基于SVC時域模型策略的抽幀。這是共享平臺第一個能力輸出中間件的使命。
基于政務(wù)網(wǎng)和互聯(lián)網(wǎng)系統(tǒng)既要考慮網(wǎng)閘等因素的存在,也要考慮在互聯(lián)網(wǎng)條件下的大規(guī)模共享和展現(xiàn)。這是共享平臺第二個能力輸出中間件的任務(wù)。為了適應(yīng)三屏合一和互聯(lián)網(wǎng)共享的要求,共享平臺的門戶頁面可以采用Html5技術(shù),流媒體可支持RTMP和Http live streaming兩種共享機(jī)制,并且HLS的TS分片可以自定義長度,對于MMS和MPEG-DASH這樣不怎么常用的協(xié)議也需要支持。這對于移動互聯(lián)網(wǎng)條件下的傳輸有很大意義。
針對家庭店鋪和小區(qū)安防,共享平臺應(yīng)支持多種私網(wǎng)穿越手段,最大限度地接入這些設(shè)備和平臺,并選用這些手段中最佳的傳輸策略保證傳輸質(zhì)量。共享平臺對于視頻的封裝除了支持第一個中間件的流式封裝外,也需要支持文件態(tài)封裝,包括FLV、MP4、RMVB、AVI、webM、3GP、WMV、MKV、MPG、VOB、MOV等格式,以便于互聯(lián)網(wǎng)條件下的視頻傳播,使廣大人民享受智慧城市建設(shè)帶來的紅利。
5、存儲/緩存技術(shù)
數(shù)據(jù)可以分為文本數(shù)據(jù)、圖片、視頻三類。對于文本數(shù)據(jù)可存于大數(shù)據(jù)平臺中,而對于圖片和視頻則既可以存于IPSAN/NAS系統(tǒng)中,也可以存于直連式存儲系統(tǒng)中,更可以存入公有/私有云系統(tǒng)中。存儲的速度取決于網(wǎng)絡(luò)傳輸速度或磁盤IO的速度。
同時,共享平臺的流媒體服務(wù)針對互聯(lián)網(wǎng)共享應(yīng)用,可以優(yōu)化緩存存儲策略,例如可以在流媒體服務(wù)端提出合理的緩存置換策略,以片源文件為單位對其進(jìn)行訪問熱度標(biāo)記,通過加載filter driver的方式對操作系統(tǒng)中的IO管理器進(jìn)行干預(yù),屏蔽原來的緩存管理策略,針對性地優(yōu)化內(nèi)存頁面和磁盤頁面的倒換機(jī)制,使訪問更加迅速,內(nèi)存頁面的駐留更加合理和有針對性。
6、數(shù)據(jù)接入接出技術(shù)
共享平臺的數(shù)據(jù)接入接出技術(shù)主要包括設(shè)備接入、數(shù)據(jù)資源平臺接入接出三方面,并且要考慮復(fù)雜組網(wǎng)條件下的互通策略。一般來說,站在軟件平臺的角度,我們把設(shè)備和平臺的接入叫做南向,平臺的被接入稱為北向。其中囊括的接入接出方式包括:
基于二進(jìn)制編碼協(xié)議方式:多見于物聯(lián)網(wǎng)設(shè)備串并口接入方式,傳輸?shù)臄?shù)據(jù)量較小,多用于傳輸控制或告警信息,讀取的基本單位是bit。一條控制報文一般只有幾個字節(jié)。
基于私有報文的協(xié)議方式:多見于物聯(lián)網(wǎng)設(shè)備廠家接入領(lǐng)域。例如鐵塔B接口、移動B接口、廠家私有協(xié)議等。這類協(xié)議有的是基于二進(jìn)制方式編碼的,有的是基于HTTP方式編碼的,也有的是基于自定義格式編碼的。
基于HTTP協(xié)議方式:多用于控制報文,在http協(xié)議報文頭/體中封裝了廠家/協(xié)會自定義的控制信息。例如視頻監(jiān)控領(lǐng)域的onvif協(xié)議的控制部分就是基于http的。
基于SIP方式的協(xié)議:多用于,對于視頻會話管理有著原生的支持性和融合性。GB28181就是基于sip方式的協(xié)議。
基于RTSP協(xié)議:用于流媒體傳輸控制,onvif協(xié)議的流媒體部分采用rtsp協(xié)議。
基于RTMP協(xié)議:同樣用于流媒體傳輸,包括RTMP基本協(xié)議及RTMPT/RTMPS/RTMPE等多種變種,是flash等播放器和視頻互聯(lián)網(wǎng)站支持的協(xié)議。
基于hls協(xié)議:同樣用于流媒體傳輸,針對CDN有良好的跨越性和操作系統(tǒng)兼容性,有HTTP FLV Live Stream、HTTP TS Live Stream、HTTP MP3 Live Stream、HTTP AAC Live Stream等幾個子版本,實(shí)時性低于RTSP和RTMP協(xié)議。
基于snmp協(xié)議:簡單網(wǎng)絡(luò)管理協(xié)議,主要見于運(yùn)維領(lǐng)域,一套完整的SNMP系統(tǒng)主要包括管理信息庫(MIB)、管理信息結(jié)構(gòu)(SMI)及SNMP報文協(xié)議。在某些情況下也用作監(jiān)控類設(shè)備的接入?yún)f(xié)議。
SDK方式:在目前標(biāo)準(zhǔn)化的大格局下,sdk方式正逐漸沒落。
Webservice方式:基于http+soap協(xié)議,是對接數(shù)據(jù)類型資源的一種方式,調(diào)用者稱為client端。
另外,共享平臺也支持私網(wǎng)穿越方式平臺和設(shè)備接入接出,并且針對安全接入平臺和網(wǎng)閘有良好的透傳支持性。
7、交換總線技術(shù)
交換一般分為主機(jī)間交換和主機(jī)內(nèi)交換兩種。主機(jī)間交換可以采用TCPIP協(xié)議方式,也可以采用串并口方式,或者其他物理交換方式,例如外掛的物理交換設(shè)備,通過自帶的驅(qū)動程序協(xié)商傳輸。在面對遠(yuǎn)程傳輸事務(wù)的時候TCPIP是僅有的手段,不管是采用協(xié)議方式交互還是采用流式方式封裝傳輸視頻;也不管是采用webserviceSDK還是采用RPC,其本質(zhì)都是TCPIP。
因此,主機(jī)間交互特別是長距交互的方式是TCPIP,拋開上層軟件的處理速度,其性能瓶頸在交換、路由等節(jié)點(diǎn)和自身網(wǎng)卡的上下行能力。短距離傳輸除了TCPIP方式,串口的交換速度更低,而類似盤片交換等手段,速率受設(shè)備影響不一而足,不具備代表性,但是最常用的也是TCPIP。
主機(jī)間交互可以不采用TCPIP手段,而采用IPC或內(nèi)存映射等機(jī)制予以實(shí)現(xiàn)。例如報文的傳輸可以采用管道技術(shù)、報文隊列等,文件的交換可以采用內(nèi)存映射+同步機(jī)制手段予以實(shí)現(xiàn)。由于不采用TCPIP,因此無需經(jīng)過winsocket和AFD、TCPIP協(xié)議驅(qū)動,傳輸效率很高。以上兩種,從廣義上來講可以稱之為交換總線技術(shù)。
<1 2 3 4 >閱讀全文
視頻內(nèi)容共享平臺實(shí)現(xiàn)的價值實(shí)現(xiàn)的價值
可融合:共享平臺名為共享,但是隱含的前提條件卻是融合。只有可融合才有數(shù)據(jù)可以共享或者把數(shù)據(jù)共享給別人??扇诤鲜枪蚕砥脚_的第一要素。
可標(biāo)注:共享平臺可以支持對重點(diǎn)資源進(jìn)行標(biāo)簽標(biāo)注,標(biāo)注后的資源能夠被快速搜索到,同時也支持個性化屬性定義,支持按自己的方式搜索資源。
可審批:共享平臺也應(yīng)該支持權(quán)限審批系統(tǒng),只有經(jīng)過審批的資源才能被發(fā)布。保證了資源的準(zhǔn)入準(zhǔn)出機(jī)制。
可發(fā)布:共享平臺必須支持基于互聯(lián)網(wǎng)、公安網(wǎng)、政務(wù)網(wǎng)等多種情況下多種協(xié)議下的數(shù)據(jù)發(fā)布。
可流通:共享平臺的資源都是以流式形態(tài)進(jìn)行發(fā)布的,具體地說,對于CDN、網(wǎng)閘、安全接入平臺有著不可見的透明性,對于NAT又存在著廣泛的穿透性。
可查詢:共享平臺可以包含大數(shù)據(jù)模塊,比如采用zookeeper+hadoop的架構(gòu),以支持億條數(shù)據(jù)的秒級查詢。
可定價:共享平臺作為能力共享平臺,提供的是數(shù)據(jù)服務(wù)。有別于傳統(tǒng)的SAAS層軟件,共享平臺提供的多是無形的服務(wù)而不是具體的產(chǎn)品。
SAAS層的產(chǎn)品可以交由SP來進(jìn)行開發(fā)。從這個角度來說,共享平臺就是能力開放的操作系統(tǒng),其提供的能力服務(wù)(API)是可定價的。
從PAAS層的角度看待和理解共享平臺,使之與SAAS層的業(yè)務(wù)軟件解耦,內(nèi)部有良好的數(shù)據(jù)碰撞機(jī)制和綜合管理辦法,外部突出能力輸出和服務(wù)建設(shè),這才是共享平臺真正價值所在。而中興力維的VCMS(video content manager syatem)就是這樣一款產(chǎn)品。
ZNV中興力維SCIM信息共享平臺界面