“三分靠技術(shù)、七分靠管理”，對于大規(guī)模的數(shù)據(jù)中心，如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí)，保證業(yè)務(wù)的穩(wěn)定運(yùn)行?

本次分享，青云QingCloud運(yùn)維工程師朱峻華系統(tǒng)的從數(shù)據(jù)中心管理的各個(gè)維度，并結(jié)合自身多年數(shù)據(jù)中心運(yùn)維管理經(jīng)驗(yàn)，講述大規(guī)模數(shù)據(jù)中心自動(dòng)化運(yùn)維實(shí)踐。

以下是本次分享的內(nèi)容整理。

以下是今天分享的內(nèi)容：

·數(shù)據(jù)中心的定義

·數(shù)據(jù)中心的發(fā)展演進(jìn)

·數(shù)據(jù)中心的等級劃分

·運(yùn)維的定義

·數(shù)據(jù)中心的運(yùn)維

數(shù)據(jù)中心的定義

對于數(shù)據(jù)中心，維基百科有如下的描述：數(shù)據(jù)中心(Data Center)或稱為服務(wù)器場(Server Farm)，指用于安置計(jì)算機(jī)系統(tǒng)及相關(guān)部件的設(shè)施，例如電信和儲存系統(tǒng)。一般它包含冗余和備用電源，冗余數(shù)據(jù)通信連接，環(huán)境控制(例如空調(diào)、滅火器)和各種安全設(shè)備。

我對數(shù)據(jù)中心做了一個(gè)簡單的總結(jié)，現(xiàn)代數(shù)據(jù)中心一般都是一個(gè)園區(qū)，包含了若干個(gè)樓，樓里包含了若干個(gè)房間，被稱為模塊，這是基礎(chǔ);在這之上架構(gòu)了復(fù)雜的網(wǎng)絡(luò);網(wǎng)絡(luò)之上部署了各種硬件設(shè)備，包括服務(wù)器及網(wǎng)絡(luò)設(shè)備;在各種設(shè)備上運(yùn)行著各種軟件;最終對外提供服務(wù)。

上面簡簡單單的一段話，其實(shí)涵蓋的技術(shù)方方面面，數(shù)據(jù)中心是現(xiàn)代IT系統(tǒng)的基石，相信以后也是整個(gè)社會(huì)正常運(yùn)轉(zhuǎn)的基石。

摘要：“三分靠技術(shù)、七分靠管理”，對于大規(guī)模的數(shù)據(jù)中心，如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí)，保證業(yè)務(wù)的穩(wěn)定運(yùn)行?

數(shù)據(jù)中心的發(fā)展演進(jìn)

現(xiàn)在的數(shù)據(jù)中心通常是指一棟樓，或者是一個(gè)園區(qū)，包含很多個(gè)機(jī)房。但是早期的數(shù)據(jù)中心只有一個(gè)機(jī)房，而且機(jī)房里面只有一臺機(jī)器，因?yàn)樵缙诘挠?jì)算機(jī)組件過于龐大，而且電纜眾多。

　　圖1 世界第一臺電腦 ENIAC

1946年2月14日誕生于美國賓夕法尼亞大學(xué)。在當(dāng)時(shí)這就是一臺電腦，一個(gè)機(jī)房，也是一個(gè)數(shù)據(jù)中心的雛形。據(jù)說ENIAC每次一開機(jī)，整個(gè)費(fèi)城西區(qū)的電燈都為之黯然。

在20世紀(jì)80年代，計(jì)算機(jī)開始蓬勃發(fā)展，IT系統(tǒng)及其操作開始變得復(fù)雜，一些大公司開始認(rèn)識到需要有意識的規(guī)劃和管理IT資源。隨著客戶端/服務(wù)器的IT模式出現(xiàn)，20世紀(jì)90年代服務(wù)器開始在機(jī)房中間尋找他們的位置，通過網(wǎng)絡(luò)電纜將服務(wù)器和網(wǎng)絡(luò)設(shè)備進(jìn)行組網(wǎng)，使得在公司內(nèi)的一個(gè)房間中，使用分層設(shè)計(jì)來放置服務(wù)器及網(wǎng)絡(luò)設(shè)備成為可能。

1996年8月北京電報(bào)大樓主機(jī)托管機(jī)房投入使用，是國內(nèi)最早的IDC業(yè)務(wù)。

下面給大家展示幾幅圖片：

　　圖2 21世紀(jì)初的數(shù)據(jù)中心

21世紀(jì)初的數(shù)據(jù)中心是如上圖展示的這樣的，當(dāng)時(shí)更多的是被稱做機(jī)房，一個(gè)大樓里面，很多個(gè)大房間，統(tǒng)一散熱，效率低下;不同客戶的服務(wù)器放在同一個(gè)機(jī)房里，沒有機(jī)柜、沒有鎖、沒有隔離，安全等級低。

　　圖3 機(jī)房設(shè)計(jì)

再后來出現(xiàn)了如上圖的機(jī)房設(shè)計(jì)，也是目前很多機(jī)房的現(xiàn)狀。會(huì)有抬高層，下面走電纜和網(wǎng)線、還有散熱冷風(fēng)系統(tǒng)，在兩排機(jī)柜中間會(huì)有出風(fēng)口，地板上的眼就是便于出風(fēng)，然后服務(wù)器吸進(jìn)冷風(fēng)，從后面排出，達(dá)到散熱的效果;可以看到圖片中遠(yuǎn)處是有門的，可以達(dá)到一定的封閉效果，提高散熱效率，但是機(jī)柜頂部并沒有封閉;另外，上面圖中的機(jī)柜沒有門及機(jī)柜鎖，安全會(huì)稍差一些。

摘要：“三分靠技術(shù)、七分靠管理”，對于大規(guī)模的數(shù)據(jù)中心，如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí)，保證業(yè)務(wù)的穩(wěn)定運(yùn)行?

　　圖4 機(jī)房設(shè)計(jì)

還有上兩圖的這種設(shè)計(jì)，機(jī)房有抬高層，散熱系統(tǒng)在下面;每個(gè)機(jī)柜都是封閉的，有自己的門和鎖，安全性高;機(jī)柜的冷風(fēng)通過通道直接進(jìn)入機(jī)柜中，而且可以單獨(dú)開關(guān)(如上圖紅線標(biāo)示處)，不僅節(jié)能而且散熱效果好，但是上半部分設(shè)備的散熱效果可能會(huì)差一些。

　　圖5 新的機(jī)房很多采用微模塊化設(shè)計(jì)

現(xiàn)在新的機(jī)房很多采用微模塊化設(shè)計(jì)，這種設(shè)計(jì)降低了對機(jī)房本身的要求，不需要抬高層，封閉的散熱系統(tǒng)，規(guī)范化的走線槽，將節(jié)能、美觀、高效有機(jī)的結(jié)合起來。

數(shù)據(jù)中心的等級劃分

目前比較流行的數(shù)據(jù)中心等級劃分是根據(jù)美國ANSI&TIA-942數(shù)據(jù)中心通訊網(wǎng)絡(luò)基礎(chǔ)設(shè)施標(biāo)準(zhǔn)設(shè)定的，分為如下4個(gè)等級：

等級Tier I ――基本數(shù)據(jù)中心

等級Tier II ――基礎(chǔ)設(shè)施部件冗余

等級Tier III ――基礎(chǔ)設(shè)施同時(shí)可維修

等級Tier IV ――基礎(chǔ)設(shè)施故障容錯(cuò)

其中Tier IV等級最高，不管是國內(nèi)還是國外，這種等級的數(shù)據(jù)中心都不多，目前國內(nèi)大部分?jǐn)?shù)據(jù)中心都是Tier III的。不同等級的具體區(qū)分，在這里不贅述，有興趣的朋友可以上網(wǎng)查一下。

運(yùn)維的定義

運(yùn)維的定義，我在維基百科并沒有找到，不知道這個(gè)是太容易理解了，還是太難于定義了。

我不敢妄加定義運(yùn)維，只是說說我自己的理解。我曾經(jīng)認(rèn)為，運(yùn)維更多的算是產(chǎn)品或者一個(gè)系統(tǒng)交付生產(chǎn)后，到這個(gè)產(chǎn)品/系統(tǒng)的生命周期結(jié)束前這段時(shí)間所做的工作。但是現(xiàn)在IT行業(yè)發(fā)展的趨勢及DevOps的流行，對運(yùn)維人員的要求越來越高，需要更早的參與到整個(gè)生命周期里去。

以數(shù)據(jù)中心的運(yùn)維舉例，運(yùn)維人員可能需要從數(shù)據(jù)中心選型就參與進(jìn)來，包括選址，選擇網(wǎng)絡(luò)提供商，考察數(shù)據(jù)中心各種設(shè)施及服務(wù)等，而不是說等這些定了之后，上了生產(chǎn)才開始運(yùn)維。

另外，我需要明確一點(diǎn)，今天我們談到數(shù)據(jù)中心的運(yùn)維，并不是簡單的從數(shù)據(jù)中心提供商角度出發(fā)，還包括數(shù)據(jù)中心使用者的角度。

青云QingCloud目前使用了多家數(shù)據(jù)中心的服務(wù)，我們也在考察、建立自己的數(shù)據(jù)中心。

數(shù)據(jù)中心的運(yùn)維

現(xiàn)在正式進(jìn)入今天的主題——數(shù)據(jù)中心的運(yùn)維。

數(shù)據(jù)中心的“風(fēng)火水電”

說到數(shù)據(jù)中心的運(yùn)維，經(jīng)常會(huì)提到“風(fēng)火水電”。

·風(fēng)，通常指空調(diào)制冷及通風(fēng)過濾系統(tǒng)。干凈的空氣能延長設(shè)備的壽命，減少故障率。不考慮報(bào)廢時(shí)間，同樣的機(jī)器在北京運(yùn)行和在芬蘭運(yùn)行，壽命和故障率都會(huì)有很大差異。

·火，一般指消防。這個(gè)是常常被人忽略的一部分，但也經(jīng)常是最致命的一部分，一旦發(fā)生火災(zāi)，可能整個(gè)地方都需要停電，且短時(shí)間內(nèi)難以恢復(fù)。

·水，通常是濕度及防潮。濕度過高，可能會(huì)影響設(shè)備壽命;太過干燥又會(huì)導(dǎo)致靜電，有可能損壞設(shè)備。

·電，機(jī)房電力。電力被認(rèn)為傳統(tǒng)數(shù)據(jù)中心的重中之重，沒有電力，數(shù)據(jù)中心就是空殼，而且數(shù)據(jù)中心的電力需要保證穩(wěn)定，且是多路備份。

上面提到了“風(fēng)火水電”，其實(shí)還應(yīng)該再加上一個(gè)“網(wǎng)”，數(shù)據(jù)中心必須保證有高效的網(wǎng)絡(luò)，離骨干網(wǎng)應(yīng)該盡量的近，而且需要能提供BGP線路服務(wù)，這也是很多客戶選擇數(shù)據(jù)中心的一個(gè)重要評判標(biāo)準(zhǔn)。

數(shù)據(jù)中心的選擇

數(shù)據(jù)中心的選擇標(biāo)準(zhǔn)可以歸類到下面三點(diǎn)：位置，主要標(biāo)準(zhǔn)和次要標(biāo)準(zhǔn)。我們提到的標(biāo)準(zhǔn)是站在不同角色進(jìn)行考慮，包括數(shù)據(jù)中心建造者與使用者。

·位置，包括數(shù)據(jù)中心所在的城市及區(qū)域，這將直接影響到預(yù)算，至少要避免受到天津大爆炸那類事故的影響;還會(huì)影響到你是否能招到合適的員工;需要考慮出現(xiàn)故障時(shí)的響應(yīng)速度等。

摘要：“三分靠技術(shù)、七分靠管理”，對于大規(guī)模的數(shù)據(jù)中心，如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí)，保證業(yè)務(wù)的穩(wěn)定運(yùn)行?

·主要標(biāo)準(zhǔn)，包括是否有足夠的空間滿足未來的發(fā)展;穩(wěn)定且廉價(jià)的電力保障;是否有能用環(huán)保手段做到廉價(jià)的散熱系統(tǒng)，比如選擇北方，一年四季大部分時(shí)間采用自然冷風(fēng)進(jìn)行散熱;還需要有高效的網(wǎng)絡(luò)連通性。

·次要標(biāo)準(zhǔn)，包括基礎(chǔ)設(shè)施，如照明、管道工程等;還包括數(shù)據(jù)中心園區(qū)的安全隔離設(shè)施，圍墻、門、窗，設(shè)備卸貨區(qū)等;推車、鏟車等設(shè)備;是否有設(shè)備預(yù)裝室;是否有監(jiān)控、控制中心;其他雜項(xiàng)，包括安全監(jiān)控?cái)z像頭、門禁卡、防尾隨門等。

生產(chǎn)運(yùn)維

傳統(tǒng)數(shù)據(jù)中心在投入生產(chǎn)之后，高等級機(jī)房會(huì)安排7*24人工巡檢。客戶購買的機(jī)柜及其機(jī)柜里的設(shè)備，需要自己安排人員巡檢，我曾經(jīng)工作過的一家公司就有三班倒的監(jiān)控人員，7*24小時(shí)待命，每個(gè)小時(shí)需要去機(jī)房巡檢一次，看各個(gè)設(shè)備是否有報(bào)警。

青云QingCloud正在考慮建立自己的數(shù)據(jù)中心，因此考慮運(yùn)維的時(shí)候會(huì)更加全面，除了傳統(tǒng)數(shù)據(jù)中心的樓宇及基礎(chǔ)設(shè)施的運(yùn)維，還包括各種物理設(shè)備，如服務(wù)器、網(wǎng)絡(luò)設(shè)備等，各種操作系統(tǒng)及軟件，還有我們自己研發(fā)的SDN，每一項(xiàng)細(xì)化都可以作為一個(gè)專題來討論。

我們簡單了解一下數(shù)據(jù)中心基礎(chǔ)設(shè)施運(yùn)維可能涉及的范圍，包括：

·安防系統(tǒng)，園區(qū)樓宇的安全防護(hù)，門禁系統(tǒng)，監(jiān)控系統(tǒng)等;

·消防系統(tǒng)，煙霧探測器，滅火設(shè)施等;

·環(huán)境檢測，如溫度及濕度等;

·供電設(shè)施，包括配電設(shè)備，發(fā)電機(jī)、UPS、機(jī)柜PDU等;

·散熱系統(tǒng)，包括空調(diào)設(shè)備，新風(fēng)及冷水機(jī)組等;

·其他雜項(xiàng)，如布線，包括電纜及網(wǎng)絡(luò)線纜;機(jī)房內(nèi)部環(huán)境，是否有易燃易爆物體，需要及時(shí)清理。

站在一個(gè)數(shù)據(jù)中心使用者的角度，我們希望數(shù)據(jù)中心能提供更高效的服務(wù)，如：

·高效的入館申請系統(tǒng)，包括人員和設(shè)備;

·高效的卸貨渠道及方便的預(yù)裝室;

·在認(rèn)證通過的情況下，可以自由高效的進(jìn)出機(jī)房，操作屬于自己的設(shè)備;

·數(shù)據(jù)中心的服務(wù)人員能高效的提供客戶所需的數(shù)據(jù)及服務(wù)，比如機(jī)柜用電量等;

·提供更多人性化及專業(yè)化的服務(wù)。

下面我們來討論一下用戶對于自己設(shè)備及服務(wù)的運(yùn)維。

服務(wù)器及網(wǎng)絡(luò)設(shè)備的選型，是選用大品牌的DELL/IBM服務(wù)器呢，還是選擇更節(jié)省成本的定制機(jī)?

QingCloud選擇了后者，在云計(jì)算時(shí)代，我們假設(shè)服務(wù)器等物理設(shè)備本身就是不可靠的，需要靠上層的軟件來實(shí)現(xiàn)可靠。

操作系統(tǒng)選型，選擇Linux還是Windows?

毋庸置疑，QingCloud的系統(tǒng)肯定是跑在Linux上，但是我們需要考慮如何高效初始化服務(wù)器，快速安裝操作系統(tǒng)，需要考慮文件系統(tǒng)、內(nèi)核參數(shù)調(diào)優(yōu)、各種硬盤驅(qū)動(dòng)、內(nèi)核版本、KernelPanic等因素。應(yīng)用層涉及的就更多了。

如何高效的初始化系統(tǒng)

如何高效的初始化系統(tǒng)?包括BIOS的調(diào)優(yōu)，劃分RAID等工作。

對于Linux系統(tǒng)的安裝有很多高效的方式，最初始的方案是把Linux安裝盤ISO刻成一張光盤進(jìn)行安裝，現(xiàn)在的服務(wù)器配光驅(qū)那肯定是被忽悠了;后來將ISO做到U盤上，這些都是手動(dòng)安裝。高級一點(diǎn)的可以寫Kickstart/Preseed文件實(shí)現(xiàn)U盤的自動(dòng)安裝，對于少量設(shè)備，這已經(jīng)足以。

對于大規(guī)模的部署，我們目前通過網(wǎng)絡(luò)自動(dòng)劃分RAID，安裝操作系統(tǒng)，還可以做到自動(dòng)進(jìn)行BIOS調(diào)優(yōu)。

我們的目標(biāo)是一臺純新的機(jī)器，物理連線都準(zhǔn)備好的情況下，開機(jī)半小時(shí)后就可以被用于生產(chǎn)，包括BIOS調(diào)優(yōu)，RAID劃分，操作系統(tǒng)安裝，網(wǎng)絡(luò)聯(lián)通及系統(tǒng)上應(yīng)用的安裝。操作系統(tǒng)的安裝可以采用網(wǎng)絡(luò)PXE安裝，開源比較常用的可以采用Cobbler;對于RAID劃分和BIOS調(diào)優(yōu)，這里我不做過多說明，不同廠家的硬件使用的方法都會(huì)不同。

操作系統(tǒng)及網(wǎng)絡(luò)準(zhǔn)備好之后，我們就需要在服務(wù)器上配置特定的應(yīng)用及服務(wù)了。這時(shí)候我們可以使用的工具更多，此類工具通常被稱為配置管理工具，常用的有老牌的Cfengine，很多大公司在用的Puppet和Chef，最近比較新的有Saltstack和Ansible等，這些都是很好的工具，但對于工程師來說合適的/熟悉的才是最好的。