企業(yè)網(wǎng)D1Net 9月4日 21世紀(jì)是一個數(shù)字化、網(wǎng)絡(luò)化、信息化的時代，全球各種信息數(shù)據(jù)在飛速的增長，這讓數(shù)據(jù)中心不堪負(fù)重，所以這幾年各地都是著力建設(shè)大型數(shù)據(jù)中心，并對原有的數(shù)據(jù)中心不斷進(jìn)行擴(kuò)容，提升數(shù)據(jù)中心的帶寬以及數(shù)據(jù)處理能力。然而，數(shù)據(jù)量的增長比我們預(yù)計的還要快，從2005年到2011年，全球數(shù)據(jù)量增長了8倍，達(dá)到了千萬億兆的數(shù)據(jù)量，未來數(shù)據(jù)量仍將持續(xù)高速增長，每兩年就會翻一翻，預(yù)計到2020年，全球的數(shù)據(jù)量將達(dá)到35ZB，這是什么概念呢？如果用4TB的硬盤來存放這些數(shù)據(jù)，則需要80億塊。這還僅僅是存儲數(shù)據(jù)量，還沒有包括一些計算處理過程中的數(shù)據(jù)，訪問的數(shù)據(jù)以及臨時生成的數(shù)據(jù)等等。為了滿足這些數(shù)據(jù)計算、傳輸、訪問等需求，數(shù)據(jù)中心就要不斷地進(jìn)行擴(kuò)容，甚至建設(shè)新的更大的數(shù)據(jù)中心，好不容易建設(shè)好的數(shù)據(jù)中心卻也僅能滿足二三年的數(shù)據(jù)處理需求，還得不斷地擴(kuò)容，這也是全球一片數(shù)據(jù)中心建設(shè)熱潮產(chǎn)生的根本原因，因?yàn)橛性絹碓蕉嗟臄?shù)據(jù)需要處理。

海量數(shù)據(jù)運(yùn)算、存儲及交換是數(shù)據(jù)中心所需的三大核心功能，數(shù)據(jù)中心需要不斷地增加服務(wù)器和存儲設(shè)備的數(shù)量，擴(kuò)大網(wǎng)絡(luò)帶寬，從而滿足海量數(shù)據(jù)運(yùn)算的需求?，F(xiàn)在32核服務(wù)器技術(shù)成熟、40G/100G網(wǎng)絡(luò)設(shè)備也已經(jīng)普及，這些為提升數(shù)據(jù)中心的處理能力提供了技術(shù)基礎(chǔ)。在目前的技術(shù)發(fā)展水平來看，如果數(shù)據(jù)中心需要更多的計算能力或者網(wǎng)絡(luò)帶寬，則只能通過增加設(shè)備的數(shù)量，并行運(yùn)行來提升整體的數(shù)據(jù)處理能力，因?yàn)樵俑叩?4核技術(shù)仍不成熟，400G的網(wǎng)絡(luò)標(biāo)準(zhǔn)還沒出爐，這樣擴(kuò)大數(shù)據(jù)中心占地面積，增加設(shè)備數(shù)量是目前唯一提升數(shù)據(jù)中心處理能力的方法。正是基于此，數(shù)據(jù)中心被建設(shè)得越來越龐大，擁有上萬臺服務(wù)器的數(shù)據(jù)中心已經(jīng)變得屢見不鮮，這些龐然大物消耗了大量地球上各種寶貴的資源，產(chǎn)生了一系列新的問題。為了應(yīng)對這個信息大爆炸的時代，數(shù)據(jù)中心真的只有擴(kuò)容這一招了嗎？答案是否定的，依然有很多其他的技術(shù)方法可以改善大量數(shù)據(jù)處理的問題。下面就介紹幾種：

減少重復(fù)、垃圾、臨時數(shù)據(jù)傳輸

其實(shí)不難想象，雖然全球的數(shù)據(jù)量在高速增長，但實(shí)際上其中重復(fù)數(shù)據(jù)占據(jù)了很大份額。比如：我們要在網(wǎng)絡(luò)上看一個在線電影，后臺實(shí)際上是在我們和數(shù)據(jù)中心之間建立了一個網(wǎng)絡(luò)連接，然后將電影拷貝到了本地電腦的內(nèi)部緩存中，進(jìn)行實(shí)時下載與播放，如果同時有一萬人在觀看，那么要消耗大量的網(wǎng)絡(luò)寬帶資源，而實(shí)際上為了加快訪問的速度，數(shù)據(jù)中心在很多地方都有分中心，電影會復(fù)制到距離訪問用戶最近的數(shù)據(jù)中心，這樣就可以節(jié)省網(wǎng)絡(luò)帶寬資源，但是消耗了數(shù)據(jù)中心的存儲資源，這些保存在各個分中心的數(shù)據(jù)就是重復(fù)數(shù)據(jù)。我們經(jīng)常將各種數(shù)據(jù)拷貝到本地保留，或者放在自己的油箱或者私有云中，這樣占據(jù)了大量的存儲空間，這些重復(fù)數(shù)據(jù)占據(jù)著大量的存儲資源。從技術(shù)上來將，可以將這些數(shù)據(jù)采用索引的方式進(jìn)行保存，比如當(dāng)我們從某個論壇復(fù)制了一個文件保存到自己的網(wǎng)絡(luò)云盤中時，后臺只將這個文件的關(guān)鍵索引進(jìn)行復(fù)制，保存到云盤中，這樣可以大大節(jié)省存儲空間。當(dāng)要訪問時，通過實(shí)時網(wǎng)絡(luò)傳輸?shù)姆绞酱蜷_，這可以大大節(jié)能存儲空間，不過對網(wǎng)絡(luò)帶寬的要求要高些。在這些數(shù)據(jù)中還有很多垃圾數(shù)據(jù)，我們經(jīng)常說手機(jī)又收到了垃圾短信，電腦里有大量無用的信息，這些都是垃圾數(shù)據(jù)，但是卻占用了大量的存儲空間，個人使用的存儲設(shè)備要經(jīng)常進(jìn)行刪除，更新，對于數(shù)據(jù)中心就是要經(jīng)常檢查那些不被訪問的數(shù)據(jù)，要及時清除，訪問量低的數(shù)據(jù)要限制其訪問帶寬，將資源預(yù)留給其它數(shù)據(jù)。服務(wù)器的回收站、網(wǎng)絡(luò)設(shè)備的Flash都要周期性地進(jìn)行清理。數(shù)據(jù)中心要完成網(wǎng)頁訪問、視頻播放、計算、存儲等各種各樣的業(yè)務(wù)功能，在這個過程中也會產(chǎn)生很多臨時數(shù)據(jù)，這些臨時數(shù)據(jù)若不能及時清楚，也會占用數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬和存儲資源。對數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行有效區(qū)分與管理，區(qū)別對待，就能有效提升數(shù)據(jù)中心的處理能力，減緩數(shù)據(jù)中心資源的枯竭。

用高效報文協(xié)議替代TCP

TCP/IP協(xié)議是數(shù)據(jù)中心網(wǎng)絡(luò)的技術(shù)標(biāo)準(zhǔn)，為了將一個文件從一個服務(wù)器傳輸?shù)搅硗獾姆?wù)器上，需要通過TCP/IP協(xié)議來進(jìn)行傳輸，其將一個文件分割成了若干個報文，而報文的格式就是TCP/IP協(xié)議所定義的。因?yàn)槲覀儗⒁粋€文件分割成報文后，需要增加報文頭，否則網(wǎng)絡(luò)設(shè)備不知道這個報文要傳輸?shù)侥睦?。報文頭里定義了這個報文的轉(zhuǎn)發(fā)路徑，以便收到這個報文的所有網(wǎng)絡(luò)設(shè)備都知道要將這個報文送到哪里。這樣問題就來了，一個報文的頭就要40字節(jié)左右，而如果是傳輸?shù)囊粋€報文內(nèi)容只有20字節(jié)，報文頭的內(nèi)容都比內(nèi)容多，報文的長度規(guī)定是64字節(jié)~1536字節(jié)。這樣對于小字節(jié)的報文，網(wǎng)絡(luò)開銷就非常大，可能一多半傳輸?shù)亩际菆笪牡念^部內(nèi)容，因此縮減報文頭部長度，減少網(wǎng)絡(luò)開銷也是一個方法。比如對于具體業(yè)務(wù)，可以改四層TCP傳輸為二層MAC傳輸，直接將報文頭部內(nèi)容減少兩層，現(xiàn)在提倡數(shù)據(jù)中心建設(shè)大二層的網(wǎng)絡(luò)，也是考慮了報文長度開銷問題的。采用MPLS VPN轉(zhuǎn)發(fā)替代傳輸?shù)腡CP四層轉(zhuǎn)發(fā)，這樣的好處是MPLS VPN采用標(biāo)簽轉(zhuǎn)發(fā)，不再關(guān)心IP頭和TCP頭的內(nèi)容，轉(zhuǎn)發(fā)效率高。不過這種方式也增加了報文的長度，會多4字節(jié)的標(biāo)簽長度，和提升轉(zhuǎn)發(fā)效率相比，增加這4個字節(jié)標(biāo)簽長度是值得的。TCP協(xié)議的特點(diǎn)是可靠傳輸，有確認(rèn)機(jī)制來保證報文的完整，這樣在數(shù)據(jù)傳輸時，就需要先建立TCP連接，傳輸過程中有丟包，還要重傳，這樣的實(shí)現(xiàn)機(jī)制使得數(shù)據(jù)轉(zhuǎn)發(fā)的吞吐量會受到限制，在存在網(wǎng)絡(luò)丟包時，傳輸?shù)臋C(jī)制就加重網(wǎng)絡(luò)擁塞（因?yàn)橐磸?fù)重傳報文），每個報文來回都要有確認(rèn)機(jī)制，這都大大增加了網(wǎng)絡(luò)開銷，因此在數(shù)據(jù)中心急需出現(xiàn)針對TCP傳輸?shù)奶娲桨?。因此，這幾年也出現(xiàn)了VXLAN大二層技術(shù)、MPLS技術(shù)等替代方案，也有有些考慮更改TCP協(xié)議參數(shù)或者擁塞控制算法、優(yōu)化應(yīng)用層數(shù)據(jù)傳輸模式、增加交換機(jī)緩沖區(qū)和使交換機(jī)支持顯式擁塞標(biāo)記等辦法來解決TCP協(xié)議的問題，從而提升數(shù)據(jù)中心網(wǎng)絡(luò)帶寬處理能力。

需要高效的壓縮技術(shù)

視頻數(shù)據(jù)是消耗網(wǎng)絡(luò)帶寬的最大元兇，視頻數(shù)據(jù)量非常大，若是同時傳輸很快就會將網(wǎng)絡(luò)帶寬占滿，因此急需一些高效的壓縮算法，減少傳輸過程中的數(shù)據(jù)量，尤其對于現(xiàn)有的高清數(shù)據(jù)，壓縮算法尤為重要，一個1G的電影，若能通過壓縮，傳輸只需要500M，那么就能節(jié)能一半的網(wǎng)絡(luò)帶寬，而視頻數(shù)據(jù)也是最容易通過壓縮算法實(shí)現(xiàn)數(shù)據(jù)量大幅減少的。

以上介紹了很多關(guān)于從數(shù)據(jù)特征上來減輕數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)載的方法，很多方法實(shí)用而且簡單，值得在數(shù)據(jù)中心中推廣，減緩數(shù)據(jù)中心建設(shè)的速度。數(shù)據(jù)中心建設(shè)晚一點(diǎn)，產(chǎn)生的效益就會多一點(diǎn)，相信任何人都能夠算清楚這筆帳，通過提升數(shù)據(jù)中心網(wǎng)絡(luò)帶寬的軟實(shí)力，將可為數(shù)據(jù)中心帶來獲益。