“三分靠技術(shù)、七分靠管理”,對于大規(guī)模的數(shù)據(jù)中心,如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí),保證業(yè)務(wù)的穩(wěn)定運(yùn)行?
本次分享,青云QingCloud運(yùn)維工程師朱峻華系統(tǒng)的從數(shù)據(jù)中心管理的各個(gè)維度,并結(jié)合自身多年數(shù)據(jù)中心運(yùn)維管理經(jīng)驗(yàn),講述大規(guī)模數(shù)據(jù)中心自動(dòng)化運(yùn)維實(shí)踐。
以下是本次分享的內(nèi)容整理。
以下是今天分享的內(nèi)容:
·數(shù)據(jù)中心的定義
·數(shù)據(jù)中心的發(fā)展演進(jìn)
·數(shù)據(jù)中心的等級劃分
·運(yùn)維的定義
·數(shù)據(jù)中心的運(yùn)維
數(shù)據(jù)中心的定義
對于數(shù)據(jù)中心,維基百科有如下的描述:數(shù)據(jù)中心(Data Center)或稱為服務(wù)器場(Server Farm),指用于安置計(jì)算機(jī)系統(tǒng)及相關(guān)部件的設(shè)施,例如電信和儲存系統(tǒng)。一般它包含冗余和備用電源,冗余數(shù)據(jù)通信連接,環(huán)境控制(例如空調(diào)、滅火器)和各種安全設(shè)備。
我對數(shù)據(jù)中心做了一個(gè)簡單的總結(jié),現(xiàn)代數(shù)據(jù)中心一般都是一個(gè)園區(qū),包含了若干個(gè)樓,樓里包含了若干個(gè)房間,被稱為模塊,這是基礎(chǔ);在這之上架構(gòu)了復(fù)雜的網(wǎng)絡(luò);網(wǎng)絡(luò)之上部署了各種硬件設(shè)備,包括服務(wù)器及網(wǎng)絡(luò)設(shè)備;在各種設(shè)備上運(yùn)行著各種軟件;最終對外提供服務(wù)。
上面簡簡單單的一段話,其實(shí)涵蓋的技術(shù)方方面面,數(shù)據(jù)中心是現(xiàn)代IT系統(tǒng)的基石,相信以后也是整個(gè)社會(huì)正常運(yùn)轉(zhuǎn)的基石。
摘要:“三分靠技術(shù)、七分靠管理”,對于大規(guī)模的數(shù)據(jù)中心,如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí),保證業(yè)務(wù)的穩(wěn)定運(yùn)行?
數(shù)據(jù)中心的發(fā)展演進(jìn)
現(xiàn)在的數(shù)據(jù)中心通常是指一棟樓,或者是一個(gè)園區(qū),包含很多個(gè)機(jī)房。但是早期的數(shù)據(jù)中心只有一個(gè)機(jī)房,而且機(jī)房里面只有一臺機(jī)器,因?yàn)樵缙诘挠?jì)算機(jī)組件過于龐大,而且電纜眾多。
圖1 世界第一臺電腦 ENIAC
1946年2月14日誕生于美國賓夕法尼亞大學(xué)。在當(dāng)時(shí)這就是一臺電腦,一個(gè)機(jī)房,也是一個(gè)數(shù)據(jù)中心的雛形。據(jù)說ENIAC每次一開機(jī),整個(gè)費(fèi)城西區(qū)的電燈都為之黯然。
在20世紀(jì)80年代,計(jì)算機(jī)開始蓬勃發(fā)展,IT系統(tǒng)及其操作開始變得復(fù)雜,一些大公司開始認(rèn)識到需要有意識的規(guī)劃和管理IT資源。隨著客戶端/服務(wù)器的IT模式出現(xiàn),20世紀(jì)90年代服務(wù)器開始在機(jī)房中間尋找他們的位置,通過網(wǎng)絡(luò)電纜將服務(wù)器和網(wǎng)絡(luò)設(shè)備進(jìn)行組網(wǎng),使得在公司內(nèi)的一個(gè)房間中,使用分層設(shè)計(jì)來放置服務(wù)器及網(wǎng)絡(luò)設(shè)備成為可能。
1996年8月北京電報(bào)大樓主機(jī)托管機(jī)房投入使用,是國內(nèi)最早的IDC業(yè)務(wù)。
下面給大家展示幾幅圖片:
圖2 21世紀(jì)初的數(shù)據(jù)中心
21世紀(jì)初的數(shù)據(jù)中心是如上圖展示的這樣的,當(dāng)時(shí)更多的是被稱做機(jī)房,一個(gè)大樓里面,很多個(gè)大房間,統(tǒng)一散熱,效率低下;不同客戶的服務(wù)器放在同一個(gè)機(jī)房里,沒有機(jī)柜、沒有鎖、沒有隔離,安全等級低。
圖3 機(jī)房設(shè)計(jì)
再后來出現(xiàn)了如上圖的機(jī)房設(shè)計(jì),也是目前很多機(jī)房的現(xiàn)狀。會(huì)有抬高層,下面走電纜和網(wǎng)線、還有散熱冷風(fēng)系統(tǒng),在兩排機(jī)柜中間會(huì)有出風(fēng)口,地板上的眼就是便于出風(fēng),然后服務(wù)器吸進(jìn)冷風(fēng),從后面排出,達(dá)到散熱的效果;可以看到圖片中遠(yuǎn)處是有門的,可以達(dá)到一定的封閉效果,提高散熱效率,但是機(jī)柜頂部并沒有封閉;另外,上面圖中的機(jī)柜沒有門及機(jī)柜鎖,安全會(huì)稍差一些。
摘要:“三分靠技術(shù)、七分靠管理”,對于大規(guī)模的數(shù)據(jù)中心,如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí),保證業(yè)務(wù)的穩(wěn)定運(yùn)行?
圖4 機(jī)房設(shè)計(jì)
還有上兩圖的這種設(shè)計(jì),機(jī)房有抬高層,散熱系統(tǒng)在下面;每個(gè)機(jī)柜都是封閉的,有自己的門和鎖,安全性高;機(jī)柜的冷風(fēng)通過通道直接進(jìn)入機(jī)柜中,而且可以單獨(dú)開關(guān)(如上圖紅線標(biāo)示處),不僅節(jié)能而且散熱效果好,但是上半部分設(shè)備的散熱效果可能會(huì)差一些。
圖5 新的機(jī)房很多采用微模塊化設(shè)計(jì)
現(xiàn)在新的機(jī)房很多采用微模塊化設(shè)計(jì),這種設(shè)計(jì)降低了對機(jī)房本身的要求,不需要抬高層,封閉的散熱系統(tǒng),規(guī)范化的走線槽,將節(jié)能、美觀、高效有機(jī)的結(jié)合起來。
數(shù)據(jù)中心的等級劃分
目前比較流行的數(shù)據(jù)中心等級劃分是根據(jù)美國ANSI&TIA-942數(shù)據(jù)中心通訊網(wǎng)絡(luò)基礎(chǔ)設(shè)施標(biāo)準(zhǔn)設(shè)定的,分為如下4個(gè)等級:
等級Tier I ――基本數(shù)據(jù)中心
等級Tier II ――基礎(chǔ)設(shè)施部件冗余
等級Tier III ――基礎(chǔ)設(shè)施同時(shí)可維修
等級Tier IV ――基礎(chǔ)設(shè)施故障容錯(cuò)
其中Tier IV等級最高,不管是國內(nèi)還是國外,這種等級的數(shù)據(jù)中心都不多,目前國內(nèi)大部分?jǐn)?shù)據(jù)中心都是Tier III的。不同等級的具體區(qū)分,在這里不贅述,有興趣的朋友可以上網(wǎng)查一下。
運(yùn)維的定義
運(yùn)維的定義,我在維基百科并沒有找到,不知道這個(gè)是太容易理解了,還是太難于定義了。
我不敢妄加定義運(yùn)維,只是說說我自己的理解。我曾經(jīng)認(rèn)為,運(yùn)維更多的算是產(chǎn)品或者一個(gè)系統(tǒng)交付生產(chǎn)后,到這個(gè)產(chǎn)品/系統(tǒng)的生命周期結(jié)束前這段時(shí)間所做的工作。但是現(xiàn)在IT行業(yè)發(fā)展的趨勢及DevOps的流行,對運(yùn)維人員的要求越來越高,需要更早的參與到整個(gè)生命周期里去。
以數(shù)據(jù)中心的運(yùn)維舉例,運(yùn)維人員可能需要從數(shù)據(jù)中心選型就參與進(jìn)來,包括選址,選擇網(wǎng)絡(luò)提供商,考察數(shù)據(jù)中心各種設(shè)施及服務(wù)等,而不是說等這些定了之后,上了生產(chǎn)才開始運(yùn)維。
另外,我需要明確一點(diǎn),今天我們談到數(shù)據(jù)中心的運(yùn)維,并不是簡單的從數(shù)據(jù)中心提供商角度出發(fā),還包括數(shù)據(jù)中心使用者的角度。
青云QingCloud目前使用了多家數(shù)據(jù)中心的服務(wù),我們也在考察、建立自己的數(shù)據(jù)中心。
數(shù)據(jù)中心的運(yùn)維
現(xiàn)在正式進(jìn)入今天的主題——數(shù)據(jù)中心的運(yùn)維。
數(shù)據(jù)中心的“風(fēng)火水電”
說到數(shù)據(jù)中心的運(yùn)維,經(jīng)常會(huì)提到“風(fēng)火水電”。
·風(fēng),通常指空調(diào)制冷及通風(fēng)過濾系統(tǒng)。干凈的空氣能延長設(shè)備的壽命,減少故障率。不考慮報(bào)廢時(shí)間,同樣的機(jī)器在北京運(yùn)行和在芬蘭運(yùn)行,壽命和故障率都會(huì)有很大差異。
·火,一般指消防。這個(gè)是常常被人忽略的一部分,但也經(jīng)常是最致命的一部分,一旦發(fā)生火災(zāi),可能整個(gè)地方都需要停電,且短時(shí)間內(nèi)難以恢復(fù)。
·水,通常是濕度及防潮。濕度過高,可能會(huì)影響設(shè)備壽命;太過干燥又會(huì)導(dǎo)致靜電,有可能損壞設(shè)備。
·電,機(jī)房電力。電力被認(rèn)為傳統(tǒng)數(shù)據(jù)中心的重中之重,沒有電力,數(shù)據(jù)中心就是空殼,而且數(shù)據(jù)中心的電力需要保證穩(wěn)定,且是多路備份。
上面提到了“風(fēng)火水電”,其實(shí)還應(yīng)該再加上一個(gè)“網(wǎng)”,數(shù)據(jù)中心必須保證有高效的網(wǎng)絡(luò),離骨干網(wǎng)應(yīng)該盡量的近,而且需要能提供BGP線路服務(wù),這也是很多客戶選擇數(shù)據(jù)中心的一個(gè)重要評判標(biāo)準(zhǔn)。
數(shù)據(jù)中心的選擇
數(shù)據(jù)中心的選擇標(biāo)準(zhǔn)可以歸類到下面三點(diǎn):位置,主要標(biāo)準(zhǔn)和次要標(biāo)準(zhǔn)。我們提到的標(biāo)準(zhǔn)是站在不同角色進(jìn)行考慮,包括數(shù)據(jù)中心建造者與使用者。
·位置,包括數(shù)據(jù)中心所在的城市及區(qū)域,這將直接影響到預(yù)算,至少要避免受到天津大爆炸那類事故的影響;還會(huì)影響到你是否能招到合適的員工;需要考慮出現(xiàn)故障時(shí)的響應(yīng)速度等。
摘要:“三分靠技術(shù)、七分靠管理”,對于大規(guī)模的數(shù)據(jù)中心,如何才能高效的運(yùn)營、維護(hù)?如何才能在將運(yùn)維成本降到最低的同時(shí),保證業(yè)務(wù)的穩(wěn)定運(yùn)行?
·主要標(biāo)準(zhǔn),包括是否有足夠的空間滿足未來的發(fā)展;穩(wěn)定且廉價(jià)的電力保障;是否有能用環(huán)保手段做到廉價(jià)的散熱系統(tǒng),比如選擇北方,一年四季大部分時(shí)間采用自然冷風(fēng)進(jìn)行散熱;還需要有高效的網(wǎng)絡(luò)連通性。
·次要標(biāo)準(zhǔn),包括基礎(chǔ)設(shè)施,如照明、管道工程等;還包括數(shù)據(jù)中心園區(qū)的安全隔離設(shè)施,圍墻、門、窗,設(shè)備卸貨區(qū)等;推車、鏟車等設(shè)備;是否有設(shè)備預(yù)裝室;是否有監(jiān)控、控制中心;其他雜項(xiàng),包括安全監(jiān)控?cái)z像頭、門禁卡、防尾隨門等。
生產(chǎn)運(yùn)維
傳統(tǒng)數(shù)據(jù)中心在投入生產(chǎn)之后,高等級機(jī)房會(huì)安排7*24人工巡檢。客戶購買的機(jī)柜及其機(jī)柜里的設(shè)備,需要自己安排人員巡檢,我曾經(jīng)工作過的一家公司就有三班倒的監(jiān)控人員,7*24小時(shí)待命,每個(gè)小時(shí)需要去機(jī)房巡檢一次,看各個(gè)設(shè)備是否有報(bào)警。
青云QingCloud正在考慮建立自己的數(shù)據(jù)中心,因此考慮運(yùn)維的時(shí)候會(huì)更加全面,除了傳統(tǒng)數(shù)據(jù)中心的樓宇及基礎(chǔ)設(shè)施的運(yùn)維,還包括各種物理設(shè)備,如服務(wù)器、網(wǎng)絡(luò)設(shè)備等,各種操作系統(tǒng)及軟件,還有我們自己研發(fā)的SDN,每一項(xiàng)細(xì)化都可以作為一個(gè)專題來討論。
我們簡單了解一下數(shù)據(jù)中心基礎(chǔ)設(shè)施運(yùn)維可能涉及的范圍,包括:
·安防系統(tǒng),園區(qū)樓宇的安全防護(hù),門禁系統(tǒng),監(jiān)控系統(tǒng)等;
·消防系統(tǒng),煙霧探測器,滅火設(shè)施等;
·環(huán)境檢測,如溫度及濕度等;
·供電設(shè)施,包括配電設(shè)備,發(fā)電機(jī)、UPS、機(jī)柜PDU等;
·散熱系統(tǒng),包括空調(diào)設(shè)備,新風(fēng)及冷水機(jī)組等;
·其他雜項(xiàng),如布線,包括電纜及網(wǎng)絡(luò)線纜;機(jī)房內(nèi)部環(huán)境,是否有易燃易爆物體,需要及時(shí)清理。
站在一個(gè)數(shù)據(jù)中心使用者的角度,我們希望數(shù)據(jù)中心能提供更高效的服務(wù),如:
·高效的入館申請系統(tǒng),包括人員和設(shè)備;
·高效的卸貨渠道及方便的預(yù)裝室;
·在認(rèn)證通過的情況下,可以自由高效的進(jìn)出機(jī)房,操作屬于自己的設(shè)備;
·數(shù)據(jù)中心的服務(wù)人員能高效的提供客戶所需的數(shù)據(jù)及服務(wù),比如機(jī)柜用電量等;
·提供更多人性化及專業(yè)化的服務(wù)。
下面我們來討論一下用戶對于自己設(shè)備及服務(wù)的運(yùn)維。
服務(wù)器及網(wǎng)絡(luò)設(shè)備的選型,是選用大品牌的DELL/IBM服務(wù)器呢,還是選擇更節(jié)省成本的定制機(jī)?
QingCloud選擇了后者,在云計(jì)算時(shí)代,我們假設(shè)服務(wù)器等物理設(shè)備本身就是不可靠的,需要靠上層的軟件來實(shí)現(xiàn)可靠。
操作系統(tǒng)選型,選擇Linux還是Windows?
毋庸置疑,QingCloud的系統(tǒng)肯定是跑在Linux上,但是我們需要考慮如何高效初始化服務(wù)器,快速安裝操作系統(tǒng),需要考慮文件系統(tǒng)、內(nèi)核參數(shù)調(diào)優(yōu)、各種硬盤驅(qū)動(dòng)、內(nèi)核版本、KernelPanic等因素。應(yīng)用層涉及的就更多了。
如何高效的初始化系統(tǒng)
如何高效的初始化系統(tǒng)?包括BIOS的調(diào)優(yōu),劃分RAID等工作。
對于Linux系統(tǒng)的安裝有很多高效的方式,最初始的方案是把Linux安裝盤ISO刻成一張光盤進(jìn)行安裝,現(xiàn)在的服務(wù)器配光驅(qū)那肯定是被忽悠了;后來將ISO做到U盤上,這些都是手動(dòng)安裝。高級一點(diǎn)的可以寫Kickstart/Preseed文件實(shí)現(xiàn)U盤的自動(dòng)安裝,對于少量設(shè)備,這已經(jīng)足以。
對于大規(guī)模的部署,我們目前通過網(wǎng)絡(luò)自動(dòng)劃分RAID,安裝操作系統(tǒng),還可以做到自動(dòng)進(jìn)行BIOS調(diào)優(yōu)。
我們的目標(biāo)是一臺純新的機(jī)器,物理連線都準(zhǔn)備好的情況下,開機(jī)半小時(shí)后就可以被用于生產(chǎn),包括BIOS調(diào)優(yōu),RAID劃分,操作系統(tǒng)安裝,網(wǎng)絡(luò)聯(lián)通及系統(tǒng)上應(yīng)用的安裝。操作系統(tǒng)的安裝可以采用網(wǎng)絡(luò)PXE安裝,開源比較常用的可以采用Cobbler;對于RAID劃分和BIOS調(diào)優(yōu),這里我不做過多說明,不同廠家的硬件使用的方法都會(huì)不同。
操作系統(tǒng)及網(wǎng)絡(luò)準(zhǔn)備好之后,我們就需要在服務(wù)器上配置特定的應(yīng)用及服務(wù)了。這時(shí)候我們可以使用的工具更多,此類工具通常被稱為配置管理工具,常用的有老牌的Cfengine,很多大公司在用的Puppet和Chef,最近比較新的有Saltstack和Ansible等,這些都是很好的工具,但對于工程師來說合適的/熟悉的才是最好的。