企業(yè)網(wǎng)D1Net 9月4日 21世紀(jì)是一個數(shù)字化、網(wǎng)絡(luò)化、信息化的時代,全球各種信息數(shù)據(jù)在飛速的增長,這讓數(shù)據(jù)中心不堪負(fù)重,所以這幾年各地都是著力建設(shè)大型數(shù)據(jù)中心,并對原有的數(shù)據(jù)中心不斷進(jìn)行擴(kuò)容,提升數(shù)據(jù)中心的帶寬以及數(shù)據(jù)處理能力。然而,數(shù)據(jù)量的增長比我們預(yù)計的還要快,從2005年到2011年,全球數(shù)據(jù)量增長了8倍,達(dá)到了千萬億兆的數(shù)據(jù)量,未來數(shù)據(jù)量仍將持續(xù)高速增長,每兩年就會翻一翻,預(yù)計到2020年,全球的數(shù)據(jù)量將達(dá)到35ZB,這是什么概念呢?如果用4TB的硬盤來存放這些數(shù)據(jù),則需要80億塊。這還僅僅是存儲數(shù)據(jù)量,還沒有包括一些計算處理過程中的數(shù)據(jù),訪問的數(shù)據(jù)以及臨時生成的數(shù)據(jù)等等。為了滿足這些數(shù)據(jù)計算、傳輸、訪問等需求,數(shù)據(jù)中心就要不斷地進(jìn)行擴(kuò)容,甚至建設(shè)新的更大的數(shù)據(jù)中心,好不容易建設(shè)好的數(shù)據(jù)中心卻也僅能滿足二三年的數(shù)據(jù)處理需求,還得不斷地擴(kuò)容,這也是全球一片數(shù)據(jù)中心建設(shè)熱潮產(chǎn)生的根本原因,因?yàn)橛性絹碓蕉嗟臄?shù)據(jù)需要處理。
海量數(shù)據(jù)運(yùn)算、存儲及交換是數(shù)據(jù)中心所需的三大核心功能,數(shù)據(jù)中心需要不斷地增加服務(wù)器和存儲設(shè)備的數(shù)量,擴(kuò)大網(wǎng)絡(luò)帶寬,從而滿足海量數(shù)據(jù)運(yùn)算的需求?,F(xiàn)在32核服務(wù)器技術(shù)成熟、40G/100G網(wǎng)絡(luò)設(shè)備也已經(jīng)普及,這些為提升數(shù)據(jù)中心的處理能力提供了技術(shù)基礎(chǔ)。在目前的技術(shù)發(fā)展水平來看,如果數(shù)據(jù)中心需要更多的計算能力或者網(wǎng)絡(luò)帶寬,則只能通過增加設(shè)備的數(shù)量,并行運(yùn)行來提升整體的數(shù)據(jù)處理能力,因?yàn)樵俑叩?4核技術(shù)仍不成熟,400G的網(wǎng)絡(luò)標(biāo)準(zhǔn)還沒出爐,這樣擴(kuò)大數(shù)據(jù)中心占地面積,增加設(shè)備數(shù)量是目前唯一提升數(shù)據(jù)中心處理能力的方法。正是基于此,數(shù)據(jù)中心被建設(shè)得越來越龐大,擁有上萬臺服務(wù)器的數(shù)據(jù)中心已經(jīng)變得屢見不鮮,這些龐然大物消耗了大量地球上各種寶貴的資源,產(chǎn)生了一系列新的問題。為了應(yīng)對這個信息大爆炸的時代,數(shù)據(jù)中心真的只有擴(kuò)容這一招了嗎?答案是否定的,依然有很多其他的技術(shù)方法可以改善大量數(shù)據(jù)處理的問題。下面就介紹幾種:
減少重復(fù)、垃圾、臨時數(shù)據(jù)傳輸
其實(shí)不難想象,雖然全球的數(shù)據(jù)量在高速增長,但實(shí)際上其中重復(fù)數(shù)據(jù)占據(jù)了很大份額。比如:我們要在網(wǎng)絡(luò)上看一個在線電影,后臺實(shí)際上是在我們和數(shù)據(jù)中心之間建立了一個網(wǎng)絡(luò)連接,然后將電影拷貝到了本地電腦的內(nèi)部緩存中,進(jìn)行實(shí)時下載與播放,如果同時有一萬人在觀看,那么要消耗大量的網(wǎng)絡(luò)寬帶資源,而實(shí)際上為了加快訪問的速度,數(shù)據(jù)中心在很多地方都有分中心,電影會復(fù)制到距離訪問用戶最近的數(shù)據(jù)中心,這樣就可以節(jié)省網(wǎng)絡(luò)帶寬資源,但是消耗了數(shù)據(jù)中心的存儲資源,這些保存在各個分中心的數(shù)據(jù)就是重復(fù)數(shù)據(jù)。我們經(jīng)常將各種數(shù)據(jù)拷貝到本地保留,或者放在自己的油箱或者私有云中,這樣占據(jù)了大量的存儲空間,這些重復(fù)數(shù)據(jù)占據(jù)著大量的存儲資源。從技術(shù)上來將,可以將這些數(shù)據(jù)采用索引的方式進(jìn)行保存,比如當(dāng)我們從某個論壇復(fù)制了一個文件保存到自己的網(wǎng)絡(luò)云盤中時,后臺只將這個文件的關(guān)鍵索引進(jìn)行復(fù)制,保存到云盤中,這樣可以大大節(jié)省存儲空間。當(dāng)要訪問時,通過實(shí)時網(wǎng)絡(luò)傳輸?shù)姆绞酱蜷_,這可以大大節(jié)能存儲空間,不過對網(wǎng)絡(luò)帶寬的要求要高些。在這些數(shù)據(jù)中還有很多垃圾數(shù)據(jù),我們經(jīng)常說手機(jī)又收到了垃圾短信,電腦里有大量無用的信息,這些都是垃圾數(shù)據(jù),但是卻占用了大量的存儲空間,個人使用的存儲設(shè)備要經(jīng)常進(jìn)行刪除,更新,對于數(shù)據(jù)中心就是要經(jīng)常檢查那些不被訪問的數(shù)據(jù),要及時清除,訪問量低的數(shù)據(jù)要限制其訪問帶寬,將資源預(yù)留給其它數(shù)據(jù)。服務(wù)器的回收站、網(wǎng)絡(luò)設(shè)備的Flash都要周期性地進(jìn)行清理。數(shù)據(jù)中心要完成網(wǎng)頁訪問、視頻播放、計算、存儲等各種各樣的業(yè)務(wù)功能,在這個過程中也會產(chǎn)生很多臨時數(shù)據(jù),這些臨時數(shù)據(jù)若不能及時清楚,也會占用數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬和存儲資源。對數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行有效區(qū)分與管理,區(qū)別對待,就能有效提升數(shù)據(jù)中心的處理能力,減緩數(shù)據(jù)中心資源的枯竭。
用高效報文協(xié)議替代TCP
TCP/IP協(xié)議是數(shù)據(jù)中心網(wǎng)絡(luò)的技術(shù)標(biāo)準(zhǔn),為了將一個文件從一個服務(wù)器傳輸?shù)搅硗獾姆?wù)器上,需要通過TCP/IP協(xié)議來進(jìn)行傳輸,其將一個文件分割成了若干個報文,而報文的格式就是TCP/IP協(xié)議所定義的。因?yàn)槲覀儗⒁粋€文件分割成報文后,需要增加報文頭,否則網(wǎng)絡(luò)設(shè)備不知道這個報文要傳輸?shù)侥睦?。報文頭里定義了這個報文的轉(zhuǎn)發(fā)路徑,以便收到這個報文的所有網(wǎng)絡(luò)設(shè)備都知道要將這個報文送到哪里。這樣問題就來了,一個報文的頭就要40字節(jié)左右,而如果是傳輸?shù)囊粋€報文內(nèi)容只有20字節(jié),報文頭的內(nèi)容都比內(nèi)容多,報文的長度規(guī)定是64字節(jié)~1536字節(jié)。這樣對于小字節(jié)的報文,網(wǎng)絡(luò)開銷就非常大,可能一多半傳輸?shù)亩际菆笪牡念^部內(nèi)容,因此縮減報文頭部長度,減少網(wǎng)絡(luò)開銷也是一個方法。比如對于具體業(yè)務(wù),可以改四層TCP傳輸為二層MAC傳輸,直接將報文頭部內(nèi)容減少兩層,現(xiàn)在提倡數(shù)據(jù)中心建設(shè)大二層的網(wǎng)絡(luò),也是考慮了報文長度開銷問題的。采用MPLS VPN轉(zhuǎn)發(fā)替代傳輸?shù)腡CP四層轉(zhuǎn)發(fā),這樣的好處是MPLS VPN采用標(biāo)簽轉(zhuǎn)發(fā),不再關(guān)心IP頭和TCP頭的內(nèi)容,轉(zhuǎn)發(fā)效率高。不過這種方式也增加了報文的長度,會多4字節(jié)的標(biāo)簽長度,和提升轉(zhuǎn)發(fā)效率相比,增加這4個字節(jié)標(biāo)簽長度是值得的。TCP協(xié)議的特點(diǎn)是可靠傳輸,有確認(rèn)機(jī)制來保證報文的完整,這樣在數(shù)據(jù)傳輸時,就需要先建立TCP連接,傳輸過程中有丟包,還要重傳,這樣的實(shí)現(xiàn)機(jī)制使得數(shù)據(jù)轉(zhuǎn)發(fā)的吞吐量會受到限制,在存在網(wǎng)絡(luò)丟包時,傳輸?shù)臋C(jī)制就加重網(wǎng)絡(luò)擁塞(因?yàn)橐磸?fù)重傳報文),每個報文來回都要有確認(rèn)機(jī)制,這都大大增加了網(wǎng)絡(luò)開銷,因此在數(shù)據(jù)中心急需出現(xiàn)針對TCP傳輸?shù)奶娲桨?。因此,這幾年也出現(xiàn)了VXLAN大二層技術(shù)、MPLS技術(shù)等替代方案,也有有些考慮更改TCP協(xié)議參數(shù)或者擁塞控制算法、優(yōu)化應(yīng)用層數(shù)據(jù)傳輸模式、增加交換機(jī)緩沖區(qū)和使交換機(jī)支持顯式擁塞標(biāo)記等辦法來解決TCP協(xié)議的問題,從而提升數(shù)據(jù)中心網(wǎng)絡(luò)帶寬處理能力。
需要高效的壓縮技術(shù)
視頻數(shù)據(jù)是消耗網(wǎng)絡(luò)帶寬的最大元兇,視頻數(shù)據(jù)量非常大,若是同時傳輸很快就會將網(wǎng)絡(luò)帶寬占滿,因此急需一些高效的壓縮算法,減少傳輸過程中的數(shù)據(jù)量,尤其對于現(xiàn)有的高清數(shù)據(jù),壓縮算法尤為重要,一個1G的電影,若能通過壓縮,傳輸只需要500M,那么就能節(jié)能一半的網(wǎng)絡(luò)帶寬,而視頻數(shù)據(jù)也是最容易通過壓縮算法實(shí)現(xiàn)數(shù)據(jù)量大幅減少的。
以上介紹了很多關(guān)于從數(shù)據(jù)特征上來減輕數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)載的方法,很多方法實(shí)用而且簡單,值得在數(shù)據(jù)中心中推廣,減緩數(shù)據(jù)中心建設(shè)的速度。數(shù)據(jù)中心建設(shè)晚一點(diǎn),產(chǎn)生的效益就會多一點(diǎn),相信任何人都能夠算清楚這筆帳,通過提升數(shù)據(jù)中心網(wǎng)絡(luò)帶寬的軟實(shí)力,將可為數(shù)據(jù)中心帶來獲益。