數(shù)據(jù)共享存在的問題

共享平臺的任務(wù)應(yīng)該是將資源分門別類地管理起來，將獲取的非視頻類數(shù)據(jù)存入數(shù)據(jù)湖進(jìn)行存儲、碰撞和關(guān)聯(lián)，并且提供能力開放中間件，針對各種應(yīng)用場景提供最大限度的開放能力特別是視頻和數(shù)據(jù)能力，有效地降低SAAS層業(yè)務(wù)軟件的開發(fā)門檻。

傳統(tǒng)的共享平臺，其著重點(diǎn)在“平臺”，因此其產(chǎn)品多是類似某某系統(tǒng)某某客戶端這樣的看得見摸得著的東西。本文中提到的共享平臺，其著重點(diǎn)在“共享”，其產(chǎn)品是服務(wù)和能力而不是具體的客戶端或者某某系統(tǒng)。具體呈現(xiàn)等這些可見化產(chǎn)品可以由第三方來完成。

　　數(shù)據(jù)共享存在的問題

異構(gòu)排他

在不同廠家的數(shù)據(jù)平臺建設(shè)中，由于各個廠家內(nèi)行的運(yùn)行機(jī)制和報文協(xié)議的差異，導(dǎo)致兩兩不同廠家的數(shù)據(jù)平臺往往不能直接互通，我們稱這種現(xiàn)象為“異構(gòu)排他”。在這種環(huán)境下，無論是交互的報文還是流轉(zhuǎn)的數(shù)據(jù)，必須通過修正才能無縫地銜接到另一方的平臺中從而實(shí)現(xiàn)單向共享。

組網(wǎng)復(fù)雜

在智慧城市領(lǐng)域組網(wǎng)情況較為復(fù)雜，尤其是政務(wù)辦公系統(tǒng)和平安城市系統(tǒng)，其網(wǎng)絡(luò)環(huán)境包括視頻專網(wǎng)、視頻內(nèi)網(wǎng)、政府政務(wù)辦公網(wǎng)、互聯(lián)網(wǎng)等。兩兩單位之間的互傳，往往要跨越數(shù)個網(wǎng)絡(luò)環(huán)境，而中間也必然包含了網(wǎng)閘、安全接入平臺、NAT服務(wù)器等多種網(wǎng)絡(luò)設(shè)備，在向公眾發(fā)布數(shù)據(jù)資源的時候還要考慮CDN的影響。

所有這些，構(gòu)成了復(fù)雜組網(wǎng)情況下資源互通的通路性障礙。尤其是在處理視頻、交警過車等大流量數(shù)據(jù)的時候，需要對每種組網(wǎng)情況進(jìn)行數(shù)據(jù)的針對性包裝，并且在交互的時候要根據(jù)每種網(wǎng)絡(luò)設(shè)備的情況進(jìn)行特定的交互處理。

海量數(shù)據(jù)

智慧城市領(lǐng)域中的數(shù)據(jù)是包羅萬象的，其中交通領(lǐng)域的過車信息、公安領(lǐng)域的視頻監(jiān)控都是海量的數(shù)據(jù)。這些數(shù)據(jù)動輒以億條/TB為單位，他們的傳輸、存儲、管理等都面臨著空前的壓力和困難。

穩(wěn)定性傳導(dǎo)

不同廠家的產(chǎn)品其穩(wěn)定性、使用性、兼容性參差不齊，在數(shù)據(jù)資源的供給側(cè)，如果數(shù)據(jù)生產(chǎn)和傳輸?shù)姆?wù)宕機(jī)會影響到整個數(shù)據(jù)鏈路的傳輸和穩(wěn)定，并且最終體現(xiàn)在數(shù)據(jù)資源的消費(fèi)側(cè)，這對于數(shù)據(jù)平臺的集成方是一個不可忽視的問題。

安全控制

安全控制體現(xiàn)在權(quán)限管理、數(shù)據(jù)加密、入侵檢測、反病毒等多個方面。由于異構(gòu)問題，導(dǎo)致權(quán)限兼容性差，未考慮邊緣問題等;并且同樣由于異構(gòu)問題，導(dǎo)致核心信息需采用明文傳輸;在互聯(lián)網(wǎng)一側(cè)，由于遠(yuǎn)程過程調(diào)用權(quán)限甚至服務(wù)器權(quán)限的開放，導(dǎo)致種種異常主機(jī)入侵和非法模塊注入的問題。

你認(rèn)為的共享平臺是這樣的?

<1 2 3 4 >閱讀全文

共享平臺作為PAAS層的平臺，提供的是能力和服務(wù)，當(dāng)然也可以基于能力和服務(wù)開發(fā)具體的SAAS層產(chǎn)品，但不是主業(yè)，從這個意義上說，共享平臺就是能力開放中間件。以下技術(shù)可以使共享平臺架構(gòu)更加合理、安全性更高，兼容性更強(qiáng)，資源分類和提供更加智能化。

1、綜合管理技術(shù)

共享平臺集成多種數(shù)據(jù)資源，必然需要用到綜合管理技術(shù)。以Activity工作流機(jī)制驅(qū)動綜合管理，可以根據(jù)現(xiàn)場不同的業(yè)務(wù)需求場景自定義工作流模板，表單可以復(fù)用，極大地簡化了定制開發(fā)工作量。ProcessEngine對象和Activity工作流引擎是Activiti工作的核心，負(fù)責(zé)生成流程運(yùn)行時的各種實(shí)例及數(shù)據(jù)、監(jiān)控和管理流程的運(yùn)行。目前主流的工作流框架還有：JBPM、OSWorkFlow、WorkFlow等，都可以用來改進(jìn)綜合管理的細(xì)節(jié)。

圖 1 Activiti 引擎的系統(tǒng)服務(wù)結(jié)構(gòu)圖

2、深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)

目前主流的智能分析產(chǎn)品均已采用了深度學(xué)習(xí)技術(shù)。相較于深度學(xué)習(xí)，淺度學(xué)習(xí)(例如adaboost算法)是基于統(tǒng)計模型的機(jī)器學(xué)習(xí)算法。利用BP(反向傳播)算法讓一個人工神經(jīng)網(wǎng)絡(luò)模型從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計規(guī)律，從而對未知事件做預(yù)測。這種基于統(tǒng)計的機(jī)器學(xué)習(xí)方法比起早先基于人工規(guī)則的系統(tǒng)，在很多方面顯出優(yōu)越性。這種人工神經(jīng)網(wǎng)絡(luò)，雖也被稱作多層感知機(jī)(Multi-layer Perception)，但實(shí)際是種只含有一層隱層節(jié)點(diǎn)的淺層模型。

深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”才是目的。

區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有許多層的隱層節(jié)點(diǎn);2)明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。因此深度學(xué)習(xí)與大數(shù)據(jù)的結(jié)合是共享平臺的重要特征。

　　3、安全防御技術(shù)

針對共享類平臺，尤其是互聯(lián)網(wǎng)平臺的安全防御是非常重要的。安全防御包括網(wǎng)絡(luò)安全、web安全、防入侵、防注入、重要信息加密、權(quán)限管理等策略。因此共享平臺需要對安全防御做出規(guī)劃。

針對重要核心信息可以采用加密存儲和傳輸?shù)牟呗?，并且?guī)劃合理的分層級的權(quán)限管理策略，尤其是針對流媒體、文件媒體等資源，需要經(jīng)過認(rèn)證才能申請。

共享平臺可以采用核心軟件硬件化的策略防止不良模塊注入，并通過對重要系統(tǒng)調(diào)用掛鉤的方法監(jiān)控調(diào)用參數(shù)和調(diào)用行為，將這些參數(shù)和行為匯總到安全監(jiān)控模塊，并通過大數(shù)據(jù)模塊的分析產(chǎn)生常見調(diào)用行為和罕見調(diào)用行為的分析報表。

共享平臺也可以采用安裝過濾型驅(qū)動的方法監(jiān)控網(wǎng)絡(luò)流量。例如基于winpcap方式堆疊在NIC驅(qū)動之上，在鏈路層即開始監(jiān)控網(wǎng)絡(luò)流量信息，繞過NDIS、TCPIP協(xié)議驅(qū)動和AFD。

一般來說，過濾得越底層，防入侵側(cè)級別和安全性越高。這些大量的流量信息，包括源端和目的端、報文長度等細(xì)節(jié)，可以作為重要數(shù)據(jù)源匯聚到大數(shù)據(jù)模塊，作為流量分析、網(wǎng)絡(luò)異常監(jiān)控的主要依據(jù)。

圖2 網(wǎng)絡(luò)協(xié)議棧驅(qū)動結(jié)構(gòu)圖

<1 2 3 4 >閱讀全文

4、流媒體處理和傳輸技術(shù)

基于平安城市領(lǐng)域的建設(shè)基礎(chǔ)和互聯(lián)網(wǎng)視頻發(fā)展的大趨勢，尤其是當(dāng)今三屏合一技術(shù)的發(fā)展，共享平臺應(yīng)該針對性地對管轄內(nèi)的視頻流進(jìn)行了整合和協(xié)議優(yōu)化，例如可以針對公安網(wǎng)、政務(wù)網(wǎng)、互聯(lián)網(wǎng)三大共享領(lǐng)域規(guī)劃對應(yīng)的兩個能力輸出中間件模塊，并針對視頻、圖片、文本數(shù)據(jù)三種數(shù)據(jù)類型分別予以考量。

基于公安網(wǎng)系統(tǒng)同時也應(yīng)考慮了網(wǎng)閘和安全接入平臺的存在。在具備安全接入平臺或網(wǎng)閘的情況下，要考慮其過濾傳輸?shù)乃俣?，因此在大?shù)據(jù)量的并發(fā)上可以采取一定的限制措施和存儲策略，盡量減輕網(wǎng)閘設(shè)備的負(fù)擔(dān)。并且采用最標(biāo)準(zhǔn)和通用的協(xié)議及方式進(jìn)行協(xié)商會話。

例如GB28181、RTSP、RTMP、webservice等，特別是對于流媒體的處理，既支持PSTSRTP以及特定封裝等方式的流式打包，又支持H.264、H.265、SVAC的編解碼和轉(zhuǎn)碼，同時支持從1080P到CIF分辨率和多碼率的自適應(yīng)轉(zhuǎn)換。為了支持傳輸和存儲的要求，也可以增加了基于SVC時域模型策略的抽幀。這是共享平臺第一個能力輸出中間件的使命。

基于政務(wù)網(wǎng)和互聯(lián)網(wǎng)系統(tǒng)既要考慮網(wǎng)閘等因素的存在，也要考慮在互聯(lián)網(wǎng)條件下的大規(guī)模共享和展現(xiàn)。這是共享平臺第二個能力輸出中間件的任務(wù)。為了適應(yīng)三屏合一和互聯(lián)網(wǎng)共享的要求，共享平臺的門戶頁面可以采用Html5技術(shù)，流媒體可支持RTMP和Http live streaming兩種共享機(jī)制，并且HLS的TS分片可以自定義長度，對于MMS和MPEG-DASH這樣不怎么常用的協(xié)議也需要支持。這對于移動互聯(lián)網(wǎng)條件下的傳輸有很大意義。

針對家庭店鋪和小區(qū)安防，共享平臺應(yīng)支持多種私網(wǎng)穿越手段，最大限度地接入這些設(shè)備和平臺，并選用這些手段中最佳的傳輸策略保證傳輸質(zhì)量。共享平臺對于視頻的封裝除了支持第一個中間件的流式封裝外，也需要支持文件態(tài)封裝，包括FLV、MP4、RMVB、AVI、webM、3GP、WMV、MKV、MPG、VOB、MOV等格式，以便于互聯(lián)網(wǎng)條件下的視頻傳播，使廣大人民享受智慧城市建設(shè)帶來的紅利。

　　5、存儲/緩存技術(shù)

數(shù)據(jù)可以分為文本數(shù)據(jù)、圖片、視頻三類。對于文本數(shù)據(jù)可存于大數(shù)據(jù)平臺中，而對于圖片和視頻則既可以存于IPSAN/NAS系統(tǒng)中，也可以存于直連式存儲系統(tǒng)中，更可以存入公有/私有云系統(tǒng)中。存儲的速度取決于網(wǎng)絡(luò)傳輸速度或磁盤IO的速度。

同時，共享平臺的流媒體服務(wù)針對互聯(lián)網(wǎng)共享應(yīng)用，可以優(yōu)化緩存存儲策略，例如可以在流媒體服務(wù)端提出合理的緩存置換策略，以片源文件為單位對其進(jìn)行訪問熱度標(biāo)記，通過加載filter driver的方式對操作系統(tǒng)中的IO管理器進(jìn)行干預(yù)，屏蔽原來的緩存管理策略，針對性地優(yōu)化內(nèi)存頁面和磁盤頁面的倒換機(jī)制，使訪問更加迅速，內(nèi)存頁面的駐留更加合理和有針對性。

6、數(shù)據(jù)接入接出技術(shù)

共享平臺的數(shù)據(jù)接入接出技術(shù)主要包括設(shè)備接入、數(shù)據(jù)資源平臺接入接出三方面，并且要考慮復(fù)雜組網(wǎng)條件下的互通策略。一般來說，站在軟件平臺的角度，我們把設(shè)備和平臺的接入叫做南向，平臺的被接入稱為北向。其中囊括的接入接出方式包括：

基于二進(jìn)制編碼協(xié)議方式：多見于物聯(lián)網(wǎng)設(shè)備串并口接入方式，傳輸?shù)臄?shù)據(jù)量較小，多用于傳輸控制或告警信息，讀取的基本單位是bit。一條控制報文一般只有幾個字節(jié)。

基于私有報文的協(xié)議方式：多見于物聯(lián)網(wǎng)設(shè)備廠家接入領(lǐng)域。例如鐵塔B接口、移動B接口、廠家私有協(xié)議等。這類協(xié)議有的是基于二進(jìn)制方式編碼的，有的是基于HTTP方式編碼的，也有的是基于自定義格式編碼的。

基于HTTP協(xié)議方式：多用于控制報文，在http協(xié)議報文頭/體中封裝了廠家/協(xié)會自定義的控制信息。例如視頻監(jiān)控領(lǐng)域的onvif協(xié)議的控制部分就是基于http的。

基于SIP方式的協(xié)議：多用于，對于視頻會話管理有著原生的支持性和融合性。GB28181就是基于sip方式的協(xié)議。

基于RTSP協(xié)議：用于流媒體傳輸控制，onvif協(xié)議的流媒體部分采用rtsp協(xié)議。

基于RTMP協(xié)議：同樣用于流媒體傳輸，包括RTMP基本協(xié)議及RTMPT/RTMPS/RTMPE等多種變種，是flash等播放器和視頻互聯(lián)網(wǎng)站支持的協(xié)議。

基于hls協(xié)議：同樣用于流媒體傳輸，針對CDN有良好的跨越性和操作系統(tǒng)兼容性，有HTTP FLV Live Stream、HTTP TS Live Stream、HTTP MP3 Live Stream、HTTP AAC Live Stream等幾個子版本，實(shí)時性低于RTSP和RTMP協(xié)議。

基于snmp協(xié)議：簡單網(wǎng)絡(luò)管理協(xié)議，主要見于運(yùn)維領(lǐng)域，一套完整的SNMP系統(tǒng)主要包括管理信息庫(MIB)、管理信息結(jié)構(gòu)(SMI)及SNMP報文協(xié)議。在某些情況下也用作監(jiān)控類設(shè)備的接入?yún)f(xié)議。

SDK方式：在目前標(biāo)準(zhǔn)化的大格局下，sdk方式正逐漸沒落。

Webservice方式：基于http+soap協(xié)議，是對接數(shù)據(jù)類型資源的一種方式，調(diào)用者稱為client端。

另外，共享平臺也支持私網(wǎng)穿越方式平臺和設(shè)備接入接出，并且針對安全接入平臺和網(wǎng)閘有良好的透傳支持性。

　　7、交換總線技術(shù)

交換一般分為主機(jī)間交換和主機(jī)內(nèi)交換兩種。主機(jī)間交換可以采用TCPIP協(xié)議方式，也可以采用串并口方式，或者其他物理交換方式，例如外掛的物理交換設(shè)備，通過自帶的驅(qū)動程序協(xié)商傳輸。在面對遠(yuǎn)程傳輸事務(wù)的時候TCPIP是僅有的手段，不管是采用協(xié)議方式交互還是采用流式方式封裝傳輸視頻;也不管是采用webserviceSDK還是采用RPC，其本質(zhì)都是TCPIP。

因此，主機(jī)間交互特別是長距交互的方式是TCPIP，拋開上層軟件的處理速度，其性能瓶頸在交換、路由等節(jié)點(diǎn)和自身網(wǎng)卡的上下行能力。短距離傳輸除了TCPIP方式，串口的交換速度更低，而類似盤片交換等手段，速率受設(shè)備影響不一而足，不具備代表性，但是最常用的也是TCPIP。

主機(jī)間交互可以不采用TCPIP手段，而采用IPC或內(nèi)存映射等機(jī)制予以實(shí)現(xiàn)。例如報文的傳輸可以采用管道技術(shù)、報文隊列等，文件的交換可以采用內(nèi)存映射+同步機(jī)制手段予以實(shí)現(xiàn)。由于不采用TCPIP，因此無需經(jīng)過winsocket和AFD、TCPIP協(xié)議驅(qū)動，傳輸效率很高。以上兩種，從廣義上來講可以稱之為交換總線技術(shù)。

<1 2 3 4 >閱讀全文

實(shí)現(xiàn)的價值

可融合：共享平臺名為共享，但是隱含的前提條件卻是融合。只有可融合才有數(shù)據(jù)可以共享或者把數(shù)據(jù)共享給別人?？扇诤鲜枪蚕砥脚_的第一要素。

可標(biāo)注：共享平臺可以支持對重點(diǎn)資源進(jìn)行標(biāo)簽標(biāo)注，標(biāo)注后的資源能夠被快速搜索到，同時也支持個性化屬性定義，支持按自己的方式搜索資源。

可審批：共享平臺也應(yīng)該支持權(quán)限審批系統(tǒng)，只有經(jīng)過審批的資源才能被發(fā)布。保證了資源的準(zhǔn)入準(zhǔn)出機(jī)制。

可發(fā)布：共享平臺必須支持基于互聯(lián)網(wǎng)、公安網(wǎng)、政務(wù)網(wǎng)等多種情況下多種協(xié)議下的數(shù)據(jù)發(fā)布。

可流通：共享平臺的資源都是以流式形態(tài)進(jìn)行發(fā)布的，具體地說，對于CDN、網(wǎng)閘、安全接入平臺有著不可見的透明性，對于NAT又存在著廣泛的穿透性。

可查詢：共享平臺可以包含大數(shù)據(jù)模塊，比如采用zookeeper+hadoop的架構(gòu)，以支持億條數(shù)據(jù)的秒級查詢。

可定價：共享平臺作為能力共享平臺，提供的是數(shù)據(jù)服務(wù)。有別于傳統(tǒng)的SAAS層軟件，共享平臺提供的多是無形的服務(wù)而不是具體的產(chǎn)品。

SAAS層的產(chǎn)品可以交由SP來進(jìn)行開發(fā)。從這個角度來說，共享平臺就是能力開放的操作系統(tǒng)，其提供的能力服務(wù)(API)是可定價的。

從PAAS層的角度看待和理解共享平臺，使之與SAAS層的業(yè)務(wù)軟件解耦，內(nèi)部有良好的數(shù)據(jù)碰撞機(jī)制和綜合管理辦法，外部突出能力輸出和服務(wù)建設(shè)，這才是共享平臺真正價值所在。而中興力維的VCMS(video content manager syatem)就是這樣一款產(chǎn)品。

 ZNV中興力維SCIM信息共享平臺界面