云存儲(chǔ)應(yīng)用是視頻監(jiān)控系統(tǒng)發(fā)展的必然需求

責(zé)任編輯:editor006

作者:鐘遠(yuǎn)山

2016-02-26 15:50:10

摘自:安防知識網(wǎng)

為了充分展示云存儲(chǔ)的特性,以下參考浙江宇視的存儲(chǔ)產(chǎn)品技術(shù)來闡述云存儲(chǔ)的幾項(xiàng)技術(shù):   1、高性能的端到端iSCSI塊直存技術(shù)。

近些年來大數(shù)據(jù)、云計(jì)算、云存儲(chǔ)在IT界可謂炙手可熱,那其在視頻監(jiān)控行業(yè)的需求和應(yīng)用又怎么樣呢?不同行業(yè)、規(guī)模、應(yīng)用需求的視頻監(jiān)控系統(tǒng)是否需要建設(shè)云存儲(chǔ)呢?各行業(yè)的決策者們無疑還存在一些疑惑,但是隨著視頻監(jiān)控系統(tǒng)對視頻圖像清晰度的不斷追求、系統(tǒng)規(guī)模的不斷擴(kuò)大、應(yīng)用需求不斷趨向多樣化,云存儲(chǔ)應(yīng)用是視頻監(jiān)控系統(tǒng)發(fā)展的必然需求。

云存儲(chǔ)應(yīng)用是視頻監(jiān)控系統(tǒng)發(fā)展的必然需求

  云存儲(chǔ)的需求分析

首先是視頻圖像清晰度發(fā)展需求。視頻監(jiān)控對視頻圖像的清晰度需求是無止境的。視頻圖像的分辨率從QCIF、CIF、D1、720P、1080P、4K、8K一路走來,僅僅使用了不到十年的時(shí)間,現(xiàn)在已開始步入4K分辨率主流年代。隨著視頻圖像分辨率的不斷增大,相應(yīng)對視頻圖像的存儲(chǔ)要求也越來越高。例如:1路D1圖像(1M碼率)存儲(chǔ)30天需要的存儲(chǔ)容量約為300GB左右,1路1080P圖像(4M碼率)存儲(chǔ)30天需要的存儲(chǔ)容量約為1.2TB左右,1路4K(8M碼率)存儲(chǔ)30天則達(dá)到了2.4TB左右,可見隨著視頻圖像清晰度的增加,存儲(chǔ)容量的需求也急劇增大。

其次是安防視頻監(jiān)控系統(tǒng)向著大規(guī)模、海量數(shù)據(jù)、智能化和融合應(yīng)用的方向快速發(fā)展需求。近十幾年來國內(nèi)外的各行各業(yè),安防視頻監(jiān)控系統(tǒng)攝像機(jī)的數(shù)量規(guī)模急劇增加。在鐵路行業(yè),隨著新增沿線入侵報(bào)警與視頻監(jiān)控需求的明晰,一條鐵路線的建設(shè)規(guī)模就從幾千到上萬路攝像機(jī)不等;而如一個(gè)中等規(guī)模城市的平安城市建設(shè)規(guī)模攝像機(jī)數(shù)量可能達(dá)幾萬路。1000路的1080P(4M碼率+24小時(shí)+30天)視頻圖像存儲(chǔ)容量就可以達(dá)到1PB,而1萬路的1080P視頻存儲(chǔ)容量超過了10個(gè)PB,安防視頻監(jiān)控系統(tǒng)的存儲(chǔ)應(yīng)用已經(jīng)進(jìn)入了存儲(chǔ)PB級年代。宇視推出的全新一代統(tǒng)一云存儲(chǔ)(UnitedCloudStorage)系統(tǒng),能提供高達(dá)數(shù)百PB級別的海量存儲(chǔ)空間,且兼具高性能、高可靠、強(qiáng)擴(kuò)展以及易運(yùn)維等特性,能夠很好地滿足用戶多樣化業(yè)務(wù)的使用需求。

從性能和容量上看,單臺存儲(chǔ)設(shè)備的性能和擴(kuò)展性基本可以滿足PB級以內(nèi)的視頻接入和圖像存儲(chǔ)需求,但是要接入成千上萬路高清1080P,甚至是4K視頻,存儲(chǔ)幾十PB、甚至上百PB的數(shù)據(jù),無論是性能還是容量都無法應(yīng)對,因?yàn)閱闻_存儲(chǔ)設(shè)備無法實(shí)現(xiàn)其性能與容量的線性增長;如果采用多臺存儲(chǔ)設(shè)備疊加的方式來實(shí)現(xiàn)增加的視頻接入和圖像存儲(chǔ)需求,那么多臺存儲(chǔ)設(shè)備間相互獨(dú)立,缺乏有效的數(shù)據(jù)整合與協(xié)同處理能力,也會(huì)存在以下問題:

1、存儲(chǔ)設(shè)備統(tǒng)一管理問題。幾十上百臺的存儲(chǔ)設(shè)備的管理必須由存儲(chǔ)設(shè)備廠商提供專業(yè)的存儲(chǔ)管理軟件來完成設(shè)備的集中管理和維護(hù),或者由安防視頻監(jiān)控平臺廠商來提供存儲(chǔ)集中管理服務(wù)軟件。但是由于不同存儲(chǔ)廠商的管理接口和協(xié)議各不相同,安防視頻監(jiān)控平臺廠商在應(yīng)對第三方存儲(chǔ)設(shè)備管理時(shí)將變得異常困難;

2、存儲(chǔ)資源按需分配問題。視頻監(jiān)控圖像的存儲(chǔ)時(shí)間一般在設(shè)計(jì)初期必須規(guī)劃好,例如15天、30天、90天等甚至更長時(shí)間。后期需要對存儲(chǔ)天數(shù)進(jìn)行調(diào)整時(shí),單臺存儲(chǔ)設(shè)備的空間資源無論是擴(kuò)容還是縮容將無法真正做到存儲(chǔ)空間的按需分配;

3、存儲(chǔ)資源融合問題。安防行業(yè)涵蓋門禁、報(bào)警、對講、出入口控制、視頻監(jiān)控、電警卡口等子系統(tǒng),存儲(chǔ)信息包括視頻圖像、圖片、文本、告警信息等。各子系統(tǒng)建設(shè)不同的存儲(chǔ)用來保存信息,存儲(chǔ)資源難以有效融合和利用,形成了事實(shí)的信息孤島;

4、設(shè)備性能和存儲(chǔ)空間共享及利用問題。按多臺存儲(chǔ)設(shè)備疊加方式部署的視頻監(jiān)控系統(tǒng),一般先期建設(shè)的存儲(chǔ)設(shè)備已經(jīng)滿負(fù)荷運(yùn)載,而后期建設(shè)的存儲(chǔ)設(shè)備在考慮系統(tǒng)擴(kuò)展性后有一定的性能和存儲(chǔ)空間冗余,但這部分性能和存儲(chǔ)空間冗余就很難共享、也不便故障切換。

云存儲(chǔ)解決方案

云存儲(chǔ)技術(shù)則能夠很好的解決上述問題。云存儲(chǔ)是在云計(jì)算和存儲(chǔ)概念上延伸和發(fā)展出來的一個(gè)新的理念,是一種新興的網(wǎng)絡(luò)存儲(chǔ)技術(shù),它通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)、分布式文件系統(tǒng)等將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能。云存儲(chǔ)可對系統(tǒng)內(nèi)的設(shè)備資源、帶寬資源、存儲(chǔ)空間資源等進(jìn)行有效整合,可為用戶提供大容量、高性能、高可靠的透明存儲(chǔ)服務(wù)。相對于單臺存儲(chǔ)設(shè)備來說,云存儲(chǔ)系統(tǒng)具備如下優(yōu)勢:

1、線性擴(kuò)展的高并發(fā)讀寫性能。單臺存儲(chǔ)設(shè)備的并發(fā)讀寫性能容易受到控制器的CPU、緩存及網(wǎng)絡(luò)接口的能力限制,讀寫帶寬一般在512MB/S~2GB/S之間。而云存儲(chǔ)系統(tǒng)可以利用集群技術(shù)將存儲(chǔ)節(jié)點(diǎn)間的帶寬和多臺存儲(chǔ)設(shè)備的處理能力進(jìn)行聚合,隨著存儲(chǔ)節(jié)點(diǎn)數(shù)量的增加可以實(shí)現(xiàn)讀寫帶寬、處理能力的線性增長,從理論上來說讀寫帶寬可以是無限的。在實(shí)測中,已經(jīng)達(dá)到整體讀寫帶寬超過200GB/S的性能指標(biāo);

2、海量存儲(chǔ)空間的彈性擴(kuò)展。存儲(chǔ)空間彈性擴(kuò)展采用的是虛擬化技術(shù),把眾多存儲(chǔ)設(shè)備虛擬化成單一的便于管理的邏輯設(shè)備形態(tài),物理磁盤分割成虛擬磁盤,將虛擬磁盤深化采用細(xì)粒度管理和虛擬磁盤操作技術(shù),從而獲得更高更靈活的管理效率、性能和容量空間,通過虛擬化磁盤分配技術(shù),提高磁盤利用率。存儲(chǔ)虛擬化技術(shù)可以很好地解決當(dāng)前各種形態(tài)設(shè)備的存儲(chǔ)容量的統(tǒng)一管理和磁盤容量的動(dòng)態(tài)分割,實(shí)現(xiàn)自動(dòng)化管理,云存儲(chǔ)中的存儲(chǔ)設(shè)備數(shù)量龐大且基于網(wǎng)絡(luò)的異地分布?,F(xiàn)在的存儲(chǔ)設(shè)備類型非常豐富,包括傳統(tǒng)的存儲(chǔ)設(shè)備如IPSAN、FCSAN、NAS、FCIP等,不同類型和形態(tài)設(shè)備之間的容量管理、設(shè)備管理,對于龐大的存儲(chǔ)云來講都是一個(gè)巨大的挑戰(zhàn),所有的存儲(chǔ)資源都必須得到有效的管理和利用。采用虛擬化和存儲(chǔ)池技術(shù),可以把不同類型的存儲(chǔ)設(shè)備虛擬化成為存儲(chǔ)網(wǎng)絡(luò)上的一個(gè)節(jié)點(diǎn),在邏輯結(jié)構(gòu)上消除異構(gòu)形態(tài)設(shè)備的差異,把容量匯聚成一個(gè)巨大的虛擬存儲(chǔ)池,并可以更容易地進(jìn)行邏輯容量分割,大幅度提升存儲(chǔ)效率。

3、統(tǒng)一的設(shè)備管理與資源呈現(xiàn)。云存儲(chǔ)解決了多臺存儲(chǔ)設(shè)備疊加帶來的設(shè)備管理問題。通過集群技術(shù),將幾十臺、幾百臺的存儲(chǔ)設(shè)備統(tǒng)一管理,通過統(tǒng)一的運(yùn)維和管理界面,向用戶呈現(xiàn)整個(gè)云存儲(chǔ)系統(tǒng)的資源和設(shè)備使用情況:整體空間利用率、單設(shè)備空間利用率、讀寫帶寬、設(shè)備負(fù)載情況、設(shè)備運(yùn)行狀態(tài)等。例如由二十臺云存儲(chǔ)設(shè)備構(gòu)建的一個(gè)一千路視頻10PB的云存儲(chǔ)系統(tǒng),用戶在使用過程中,不需關(guān)心前端10000路攝像機(jī)的視頻圖像究竟是存儲(chǔ)在哪一臺設(shè)備上,只需要選擇后端這個(gè)10PB大小的空間統(tǒng)一存儲(chǔ)資源池,就可以非常方便的完成存儲(chǔ)部署,可極大簡化用戶管理與維護(hù)的復(fù)雜度,有效提高工作效率;

4、提升設(shè)備資源處理和存儲(chǔ)空間共享能力。由于設(shè)備處理能力、存儲(chǔ)空間、帶寬無法實(shí)現(xiàn)聚合,單臺存儲(chǔ)設(shè)備的處理能力和存儲(chǔ)空間都無法與其他設(shè)備進(jìn)行有效共享,而云存儲(chǔ)系統(tǒng)則可以靈活的進(jìn)行統(tǒng)一管理和共享。云存儲(chǔ)采用統(tǒng)一的全局命名空間,可以提供多種數(shù)據(jù)訪問接口(SOAP、REST、HDFS、POSIX等),支持主流的文件與數(shù)據(jù)傳輸訪問協(xié)議(NFS/CIFS、iSCSI、HTTP、FTP等),可以與各種上層應(yīng)用程序進(jìn)行完美配合;

5、更高的數(shù)據(jù)安全性與可靠性。像宇視這樣的行業(yè)優(yōu)秀存儲(chǔ)設(shè)備廠商已經(jīng)通過模塊化的部件冗余設(shè)計(jì)來實(shí)現(xiàn)單臺存儲(chǔ)設(shè)備的數(shù)據(jù)安全性和可靠性:雙控制器、雙電源、雙電池、雙風(fēng)扇、雙BIOS等;數(shù)據(jù)安全性可以通過RAID、鏡像、快照、復(fù)制、CDP等技術(shù)實(shí)現(xiàn)。但是當(dāng)存儲(chǔ)設(shè)備自身出現(xiàn)故障或數(shù)據(jù)中心機(jī)房斷電時(shí),整個(gè)數(shù)據(jù)讀寫業(yè)務(wù)依然將無法交付。所以許多存儲(chǔ)系統(tǒng),通過災(zāi)備方案進(jìn)行保障:同城/異地災(zāi)備、兩地三中心、雙活等方案來保證業(yè)務(wù)的連續(xù)性和可用性,但是在應(yīng)對視頻監(jiān)控領(lǐng)域的海量數(shù)據(jù)存儲(chǔ),采用這些災(zāi)備方案明顯難以實(shí)現(xiàn)(數(shù)據(jù)量過大,建設(shè)成本太高)。云存儲(chǔ)除了單機(jī)性能及災(zāi)備之外,還通過N+M糾刪碼技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)RAID功能、多副本復(fù)制技術(shù)能夠?qū)崿F(xiàn)跨存儲(chǔ)設(shè)備間的數(shù)據(jù)保護(hù)。如果某臺存儲(chǔ)設(shè)備故障,其上承載的數(shù)據(jù)寫入業(yè)務(wù)都會(huì)自動(dòng)轉(zhuǎn)移到云存儲(chǔ)系統(tǒng)內(nèi)的其他存儲(chǔ)設(shè)備上,對于數(shù)據(jù)讀取業(yè)務(wù),則可以通過其他非故障存儲(chǔ)設(shè)備運(yùn)算的方式或者訪問副本的方式完成;

6、總擁有成本(TCO)較低。云存儲(chǔ)系統(tǒng)采用高性價(jià)比的以太網(wǎng)絡(luò)和存儲(chǔ)節(jié)點(diǎn)構(gòu)成,比傳統(tǒng)的中高端存儲(chǔ)設(shè)備具有更好的性價(jià)比優(yōu)勢。云存儲(chǔ)擴(kuò)容相對比較靈活,可根據(jù)業(yè)務(wù)隨時(shí)隨地的進(jìn)行彈性擴(kuò)展,用戶不需要在建設(shè)初期一次性購買,當(dāng)需要時(shí)可在線進(jìn)行性能和容量的方便靈活的擴(kuò)展,可以在建設(shè)、管理、運(yùn)行、維護(hù)等上大大節(jié)省用戶的總擁有成本(TCO)。

為了充分展示云存儲(chǔ)的特性,以下參考浙江宇視的存儲(chǔ)產(chǎn)品技術(shù)來闡述云存儲(chǔ)的幾項(xiàng)技術(shù):

1、高性能的端到端iSCSI塊直存技術(shù)。宇視視頻監(jiān)控存儲(chǔ)產(chǎn)品,針對視頻監(jiān)控業(yè)務(wù)的特點(diǎn),結(jié)合宇視的IP全交換技術(shù)、iSCSI塊直存解決方案,從不同層面進(jìn)行優(yōu)化,提高視頻監(jiān)控的性能,從而達(dá)到了業(yè)界領(lǐng)先的性能水平。它實(shí)現(xiàn)前端攝像頭將視頻數(shù)據(jù)通過iSCSI協(xié)議以塊直存的方式寫入存儲(chǔ)設(shè)備,無需經(jīng)過媒體服務(wù)器,既縮短了I/O路徑,也不存在文件存儲(chǔ)的碎片問題,從解決方案層面進(jìn)行優(yōu)化,極大地提高了視頻監(jiān)控的接入和寫入性能。

IP全交換技術(shù)和端到端iSCSI塊直存解決方案與傳統(tǒng)IP流媒體交換方案對比如下圖

云存儲(chǔ)應(yīng)用是視頻監(jiān)控系統(tǒng)發(fā)展的必然需求

2、創(chuàng)新的磁盤數(shù)據(jù)保護(hù)技術(shù)和RAID改進(jìn)技術(shù)的高可靠性。宇視科技視頻監(jiān)控存儲(chǔ)產(chǎn)品提供全方位的數(shù)據(jù)保護(hù),從磁盤級到系統(tǒng)間級,多重保護(hù),為數(shù)據(jù)安全保駕護(hù)航,這里重點(diǎn)介紹其中幾種技術(shù)。

(1)磁盤壞塊替換。當(dāng)磁盤出現(xiàn)介質(zhì)寫錯(cuò)誤之后,將I/O重新寫到保留的一塊區(qū)域,下次讀這個(gè)I/O的時(shí)候,就直接從這塊保留的區(qū)域讀出;

(2)創(chuàng)新的超級RAID多重重建方式。“無感知”局部重建,如磁盤短暫離線,或者被錯(cuò)誤拔出后重新插入時(shí)只重建數(shù)據(jù)發(fā)生變化的條塊,不對整個(gè)硬盤進(jìn)行重建;快速重建,當(dāng)硬盤健康指數(shù)超標(biāo)或者硬盤出現(xiàn)無法修復(fù)的讀寫錯(cuò)誤時(shí),通過快速拷貝方式來重建數(shù)據(jù),無法拷貝的條塊,采用異或方式重建;重構(gòu)重建,如硬盤無法識別,長時(shí)間拔出時(shí),按照傳統(tǒng)的重建方式,將數(shù)據(jù)通過異或運(yùn)算,將數(shù)據(jù)恢復(fù)到熱備盤上;

3、塊虛擬化RAID-NT。塊虛擬化RAID-NT技術(shù)是浙江宇視根據(jù)傳統(tǒng)RAID技術(shù)跟未來存儲(chǔ)技術(shù)的發(fā)展趨勢,推出的新一代存儲(chǔ)設(shè)計(jì)技術(shù),結(jié)合高速緩存智能排序技術(shù)大大提高了業(yè)務(wù)性能、重建性能,基本原理如下圖:

云存儲(chǔ)

塊虛擬化RAID-NT最大的優(yōu)勢就是快速重建。隨著硬盤容量越來越大,RAID重建時(shí)間越來越長,導(dǎo)致陣列失效的風(fēng)險(xiǎn)大大增加。一旦在重建的過程中,其他硬盤發(fā)生故障,則會(huì)導(dǎo)致整個(gè)陣列數(shù)據(jù)的丟失。塊虛擬化RAID-NT主要就是為了解決這個(gè)問題而設(shè)計(jì)的,不像傳統(tǒng)RAID重建,只有RAID陣列中的硬盤參與重建,數(shù)據(jù)重構(gòu)到熱備盤,受限于熱備盤的瓶頸。RAID-NT重建,整個(gè)磁盤池中所有的磁盤都會(huì)參與重建,磁盤池中的磁盤越多,參與重建的磁盤就越多,重建當(dāng)然也就越快。重建的時(shí)間窗大大縮短了,陣列失效的風(fēng)險(xiǎn)也大大減少。

4、設(shè)備異常掉電后的數(shù)據(jù)保險(xiǎn)箱技術(shù)。在設(shè)備異常掉電后,系統(tǒng)配置的電池會(huì)繼續(xù)給系統(tǒng)供電以保證寫緩存整個(gè)空間數(shù)據(jù)保存到內(nèi)置的“數(shù)據(jù)保險(xiǎn)箱”中。當(dāng)設(shè)備恢復(fù)供電正常重啟后,系統(tǒng)會(huì)將“數(shù)據(jù)保險(xiǎn)箱”的緩存數(shù)據(jù)加載到系統(tǒng)緩存中,并根據(jù)策略及時(shí)把緩存數(shù)據(jù)刷到RAID磁盤中,確保數(shù)據(jù)在任何情況下都不會(huì)丟失。

云存儲(chǔ)

5、多重?cái)?shù)據(jù)保護(hù)網(wǎng)絡(luò)RAID糾刪碼技術(shù)。宇視云存儲(chǔ)通過支持N+M糾刪碼技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)RAID功能,支持節(jié)點(diǎn)間的數(shù)據(jù)保護(hù)。文件寫入的時(shí)候,會(huì)分成固定大小的數(shù)據(jù)塊,每個(gè)數(shù)據(jù)塊分成N片,通過糾刪碼算法,得到N+M個(gè)數(shù)據(jù)分片,離散寫入不同的存儲(chǔ)節(jié)點(diǎn)。讀取數(shù)據(jù)塊的時(shí)候,只需要讀取任意N個(gè)數(shù)據(jù)分片就可以了。相比3份復(fù)制33%的磁盤利用率,2份復(fù)制50%的硬盤利用率,N+M糾刪碼高達(dá)80%的硬盤利用率,大大節(jié)省了用戶成本。如下為4+2的糾刪圖。

云存儲(chǔ)

  源數(shù)據(jù)分片和冗余數(shù)據(jù)分片

結(jié)束語

安防視頻圖像的存儲(chǔ)特點(diǎn)是對實(shí)時(shí)的存儲(chǔ)性能要求較高,而云存儲(chǔ)的系統(tǒng)架構(gòu)決定了它能夠以較低的總擁有成本滿足海量高清視頻的并發(fā)寫入/讀取,并能實(shí)現(xiàn)快速配置和即插即用。目前云存儲(chǔ)在平安城市、智能交通等大行業(yè)市場以及基于公有云架構(gòu)的民用市場已經(jīng)得到應(yīng)用,今后隨著網(wǎng)絡(luò)化更全面普及和海量視頻共享需求的快速增長,各行業(yè)的推廣應(yīng)用前景將更加廣闊。

縱觀整個(gè)國內(nèi)外安防視頻監(jiān)控市場云存儲(chǔ)廠商現(xiàn)狀,數(shù)據(jù)存儲(chǔ)廠商、安防存儲(chǔ)廠商廠商云集、全力角逐:安防廠商基于對業(yè)務(wù)的理解順勢推出安防專用云存儲(chǔ),數(shù)據(jù)存儲(chǔ)廠商力推通用云存儲(chǔ)以期滿足用戶多樣化需求,整個(gè)安防存儲(chǔ)市場競爭日趨激烈。但是不管數(shù)據(jù)存儲(chǔ)廠商還是安防存儲(chǔ)廠商要做好安防云存儲(chǔ),都需要不斷自我提升:數(shù)據(jù)存儲(chǔ)廠商應(yīng)該多了解安防視頻監(jiān)控業(yè)務(wù),了解業(yè)務(wù)模型的差異,使通用云存儲(chǔ)更符合安防視頻監(jiān)控行業(yè)的實(shí)際需求;安防廠商則應(yīng)該在提供多種數(shù)據(jù)訪問接口,滿足用戶多樣化業(yè)務(wù)需求上多下功夫,相互取長補(bǔ)短,滿足用戶實(shí)際使用需求才是產(chǎn)品獲得市場占有率的制勝法寶。而硬盤廠商也要針對安防視頻監(jiān)控存儲(chǔ)市場提供容量更大、穩(wěn)定性更高、具有更高性價(jià)比的硬盤產(chǎn)品,促使整個(gè)安防云存儲(chǔ)的價(jià)格更加具有市場競爭力。

可以預(yù)見,隨著越來越多基于海量數(shù)據(jù)的高清視頻監(jiān)控業(yè)務(wù)應(yīng)用依托云存儲(chǔ)架構(gòu)解決方案,云存儲(chǔ)在安防領(lǐng)域未來的市場應(yīng)用將更加寬廣。

熱文推薦

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號