如何做好大型數(shù)據(jù)中心的運(yùn)維

責(zé)任編輯:editor007

作者:滴水穿石孫杰

2016-01-07 21:42:44

摘自:51CTO

本文轉(zhuǎn)自51CTO博客博主滴水穿石孫杰,如有任何問(wèn)題,請(qǐng)進(jìn)入博主頁(yè)面互動(dòng)討論。從數(shù)據(jù)中心的基礎(chǔ)運(yùn)維管理方面來(lái)說(shuō),則主要有硬件配置管理、可維護(hù)性?xún)?yōu)化、監(jiān)控、報(bào)警處理、自動(dòng)化運(yùn)維、斷網(wǎng)

什么叫數(shù)據(jù)中心?維基百科給出的定義是“數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括計(jì)算機(jī)系統(tǒng)和其它與之配套的設(shè)備(例如通信和存儲(chǔ)系統(tǒng)),還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置”。在云大行其道的今天,隨著數(shù)據(jù)中心建設(shè)規(guī)模的不斷擴(kuò)大,新技術(shù)的層出不窮,數(shù)據(jù)中心變得越來(lái)越復(fù)雜。大型數(shù)據(jù)中心往往是由很多功能不一的單元系統(tǒng)組成,其運(yùn)維工作需要具備方方面面的知識(shí),包括硬件、網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、安全以及業(yè)務(wù)上的東西,需要一體化聯(lián)動(dòng)地去做好運(yùn)維工作。

當(dāng)一個(gè)數(shù)據(jù)中心的規(guī)模非常大,其面臨的技術(shù)挑戰(zhàn)和問(wèn)題也會(huì)比較多,很多在小環(huán)境小體系下不是問(wèn)題的問(wèn)題在這樣的規(guī)模下也就凸顯出來(lái)了,所以要做好大型數(shù)據(jù)中心的運(yùn)維工作,對(duì)整個(gè)數(shù)據(jù)中心方方面面涉及到的技術(shù)體系都要花費(fèi)較長(zhǎng)時(shí)間來(lái)進(jìn)行系統(tǒng)學(xué)習(xí),只有對(duì)這個(gè)數(shù)據(jù)中心整體非常了解,才能有針對(duì)性地制定一些運(yùn)維方案,自己結(jié)合特定需求進(jìn)行開(kāi)發(fā)一些監(jiān)控運(yùn)維軟件,對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行高效管理與監(jiān)控,提升整個(gè)數(shù)據(jù)中心的運(yùn)行效率、減少故障的發(fā)生,從而將運(yùn)維工作不斷推向新的高度。

一個(gè)大型的數(shù)據(jù)中心內(nèi)部往往都包含了很多小系統(tǒng),運(yùn)維工作都是圍繞著這些具體的應(yīng)用系統(tǒng)展開(kāi)的,具體的可以分為基礎(chǔ)運(yùn)維管理、日常業(yè)務(wù)運(yùn)維、網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、安全六大部分,本文就來(lái)說(shuō)一說(shuō)一般大型的數(shù)據(jù)中心應(yīng)該具備的哪些運(yùn)維方法和能力。

首先從數(shù)據(jù)中心的基礎(chǔ)運(yùn)維管理方面來(lái)說(shuō),則主要有硬件配置管理、可維護(hù)性?xún)?yōu)化、監(jiān)控、報(bào)警處理、自動(dòng)化運(yùn)維、斷網(wǎng),斷電、機(jī)房容災(zāi)等運(yùn)維工作。硬件配置管理包含機(jī)柜里每臺(tái)服務(wù)器的型號(hào)和硬件配置,并清楚是哪些業(yè)務(wù)系統(tǒng)在使用這些服務(wù)器。即便是虛擬化運(yùn)行環(huán)境,也需要知道這些虛機(jī)都在哪些物理機(jī)組成的資源池中流動(dòng)。數(shù)據(jù)中心物理機(jī)和虛機(jī)數(shù)量都很龐大,使用自動(dòng)化運(yùn)維是非常有必要的。自動(dòng)化運(yùn)維不僅能提升運(yùn)維的工作效率,還可以減少人為的參與,同時(shí)讓數(shù)據(jù)中心自己管理自己,釋放人力。并對(duì)數(shù)據(jù)中心可能發(fā)生的故障還做好監(jiān)控與報(bào)警處理,以便能夠在故障發(fā)生的第一時(shí)間知曉問(wèn)題,往往一次大的故障都是從開(kāi)始的一點(diǎn)小故障逐漸擴(kuò)展最終引發(fā)整個(gè)大系統(tǒng)的崩潰的,所以在出現(xiàn)一些小的異常時(shí)一定要及時(shí)消除,而這些異常就要靠完善的監(jiān)控和報(bào)警系統(tǒng)來(lái)檢測(cè)。

從數(shù)據(jù)中心的日常業(yè)務(wù)運(yùn)維方面考慮,則主要有日常檢查、應(yīng)用變更、軟硬件升級(jí)、突發(fā)故障等。具體來(lái)說(shuō):1、日常檢查:“千里之堤,潰于蟻穴”。任何的故障在出現(xiàn)之前都可能會(huì)有所表現(xiàn),小的隱患不消除,可能導(dǎo)致重大的故障出現(xiàn),所以數(shù)據(jù)中心日常的例行檢查工作枯燥,但也很重要,可以及時(shí)發(fā)現(xiàn)一些運(yùn)行中的隱患。根據(jù)數(shù)據(jù)中心承載業(yè)務(wù)重要性的不同,要對(duì)數(shù)據(jù)中心里的所有運(yùn)行的設(shè)備進(jìn)行例行檢查。檢查服務(wù)器應(yīng)用服務(wù)是否正常,CPU內(nèi)存等利用率是否正常。對(duì)應(yīng)用業(yè)務(wù)進(jìn)行檢查,看業(yè)務(wù)運(yùn)行是否正常。還有對(duì)數(shù)據(jù)中心的機(jī)房環(huán)境也要進(jìn)行檢查,環(huán)境的溫度、濕度、灰塵是否合乎要求。空調(diào)、供電系統(tǒng)進(jìn)行運(yùn)行良好,設(shè)備運(yùn)行是否過(guò)熱,地板、天窗、消防、監(jiān)控都是檢查的部分??照{(diào)漏水、設(shè)備漏電都會(huì)對(duì)數(shù)據(jù)中心正常穩(wěn)定運(yùn)行產(chǎn)生危害,千萬(wàn)不可大意。2、應(yīng)用變更:數(shù)據(jù)中心承載的業(yè)務(wù)不會(huì)是一成不變的,隨著業(yè)務(wù)的多樣化和不斷發(fā)展,經(jīng)常要對(duì)業(yè)務(wù)進(jìn)行調(diào)整,包括服務(wù)器和網(wǎng)絡(luò)的設(shè)置。因此要對(duì)服務(wù)器和網(wǎng)絡(luò)設(shè)備操作很熟悉,主要需要掌握Linux服務(wù)器命令和網(wǎng)絡(luò)協(xié)議。要根據(jù)應(yīng)用的需要,及時(shí)準(zhǔn)確做出變更。3、軟硬件升級(jí):數(shù)據(jù)中心的設(shè)備一般運(yùn)行周期是五年,不斷地有設(shè)備需要逐漸淘汰進(jìn)行更換,也有一些設(shè)備因?yàn)榇嬖谲浖毕菪枰?jí),因此軟硬件升級(jí)也是維護(hù)工作的一部分。軟硬件升級(jí)時(shí)需要做好回退機(jī)制,以防升級(jí)出現(xiàn)問(wèn)題時(shí)無(wú)法回退,業(yè)務(wù)長(zhǎng)時(shí)間無(wú)法恢復(fù)。當(dāng)接手?jǐn)?shù)據(jù)中心維護(hù)工作就會(huì)發(fā)現(xiàn),怎么會(huì)有那么多的升級(jí),幾乎每個(gè)月都要有升級(jí)操作,熬夜升級(jí)工作成了維護(hù)人員的家常便飯。4、突發(fā)故障:沒(méi)有任何一個(gè)數(shù)據(jù)中心是不出故障的,在數(shù)據(jù)中心運(yùn)行的過(guò)程中都會(huì)出現(xiàn)這樣那樣的問(wèn)題。對(duì)于突發(fā)故障,高水平的維護(hù)人員可以靜下心來(lái)冷靜分析故障的觸發(fā)原因,迅速找到解決的方法,如果在短時(shí)間內(nèi)找不到解決方法,也可以通過(guò)切換到備用設(shè)備上先恢復(fù)業(yè)務(wù),再進(jìn)行分析。這時(shí)擁有高水平的維護(hù)人員對(duì)于一個(gè)數(shù)據(jù)中心至關(guān)重要,在關(guān)鍵時(shí)刻就能派上用場(chǎng)。雖然這些工作看起來(lái)有些平常,但千萬(wàn)別小看它們。數(shù)據(jù)中心日常維護(hù)工作實(shí)際上非常重要,關(guān)乎著整個(gè)數(shù)據(jù)中心業(yè)務(wù)的正常運(yùn)行。只有重視數(shù)據(jù)中心的維護(hù)工作,才能給數(shù)據(jù)中心一個(gè)平安。

從數(shù)據(jù)中心網(wǎng)絡(luò)方面考慮,則主要有網(wǎng)絡(luò)硬件設(shè)備、ACL、OSPF、LACP、VIP、協(xié)議分析、流量、負(fù)載均衡、二三四七層情況、網(wǎng)絡(luò)監(jiān)控、萬(wàn)兆板卡、核心交換等。網(wǎng)絡(luò)是數(shù)據(jù)中心的重要組成部分,是一切工作運(yùn)行的基本保證,沒(méi)有網(wǎng)絡(luò)數(shù)據(jù)中心就無(wú)法運(yùn)轉(zhuǎn)起來(lái),所以保證網(wǎng)絡(luò)穩(wěn)定是數(shù)據(jù)中心運(yùn)維工作中的重中之重。這里不僅要關(guān)注網(wǎng)絡(luò)的硬件問(wèn)題,還要關(guān)注SDN軟件定義的網(wǎng)絡(luò)。一般傳統(tǒng)IT架構(gòu)中的網(wǎng)絡(luò),根據(jù)業(yè)務(wù)需求部署上線以后,如果業(yè)務(wù)需求發(fā)生變動(dòng),重新修改相應(yīng)網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī)、防火墻)上的配置是一件非常繁瑣的事情。而在當(dāng)今互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)瞬息萬(wàn)變的業(yè)務(wù)環(huán)境下,網(wǎng)絡(luò)的高穩(wěn)定與高性能還不足以滿(mǎn)足業(yè)務(wù)需求,靈活性和敏捷性反而更為關(guān)鍵。SDN所做的事是將網(wǎng)絡(luò)設(shè)備上的控制權(quán)分離出來(lái),由集中的控制器管理,無(wú)須依賴(lài)底層網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī)、防火墻),屏蔽了來(lái)自底層網(wǎng)絡(luò)設(shè)備的差異,而控制權(quán)是完全開(kāi)放的,用戶(hù)可以自定義任何想實(shí)現(xiàn)的網(wǎng)絡(luò)路由和傳輸規(guī)則策略,從而更加靈活和智能。進(jìn)行SDN改造后,無(wú)需對(duì)網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的路由器反復(fù)進(jìn)行配置,網(wǎng)絡(luò)中的設(shè)備本身就是自動(dòng)化連通的。只需要在使用時(shí)定義好簡(jiǎn)單的網(wǎng)絡(luò)規(guī)則即可。如果你不喜歡路由器自身內(nèi)置的協(xié)議,還可以通過(guò)編程的方式對(duì)其進(jìn)行修改,以實(shí)現(xiàn)更好的數(shù)據(jù)交換性能。比如百度自研交換機(jī),可以直接支持SDN的遠(yuǎn)程配置與管理特性,從而實(shí)現(xiàn)上線全自動(dòng)配置。未來(lái),自研交換機(jī)還會(huì)更進(jìn)一步和服務(wù)器自動(dòng)化上線結(jié)合,提升服務(wù)器交付和管理效率。網(wǎng)絡(luò)可以說(shuō)是包羅萬(wàn)象,涉及太多的設(shè)備和協(xié)議、軟件層技術(shù),所以也需要不斷地學(xué)習(xí),加深對(duì)網(wǎng)絡(luò)技術(shù)的理解,這樣才能做好網(wǎng)絡(luò)運(yùn)維工作。

從數(shù)據(jù)中心服務(wù)器方面考慮,則主要有文件系統(tǒng)、內(nèi)核參數(shù)調(diào)優(yōu)、各種硬盤(pán)驅(qū)動(dòng)、內(nèi)核版本、Kernel panic等。Linux系統(tǒng)不僅在服務(wù)器,在網(wǎng)絡(luò)操作系統(tǒng)也占據(jù)著主流地位,掌握Linux系統(tǒng)的使用才能更好地處理服務(wù)器和網(wǎng)絡(luò)設(shè)備的運(yùn)維工作,Linux是運(yùn)維工作的一項(xiàng)基本技能。除了熟悉Linux系統(tǒng)的操作,還要對(duì)服務(wù)器的運(yùn)行狀態(tài)和內(nèi)核運(yùn)行狀態(tài)進(jìn)行監(jiān)控與管理,減少服務(wù)器故障的發(fā)生。一般大型的數(shù)據(jù)中心都包含有成千上萬(wàn)臺(tái)的服務(wù)器,幾乎每天都會(huì)有服務(wù)器出現(xiàn)各種各樣的問(wèn)題,只有對(duì)服務(wù)器有深入理解才能很好地消除問(wèn)題。為了防止服務(wù)器故障引發(fā)業(yè)務(wù)中斷,所以一般在服務(wù)器上都要部署虛擬化技術(shù)或者集群技術(shù),當(dāng)一臺(tái)服務(wù)器物理硬件故障時(shí),業(yè)務(wù)可以平滑切換到其它服務(wù)器上,業(yè)務(wù)不會(huì)受到任何影響。這些虛擬化技術(shù)增加了運(yùn)維的難度,也需要對(duì)虛擬化技術(shù)進(jìn)行不斷深入學(xué)習(xí)。另外數(shù)據(jù)中心服務(wù)器的定制化也是很有意義的一件事。云計(jì)算需要大規(guī)模部署,因此需要服務(wù)器具有更高的部署密度、節(jié)能而且易于管理,但對(duì)于每個(gè)節(jié)點(diǎn)的計(jì)算能力要求并不十分苛刻。而廠商生產(chǎn)的普通意義上的服務(wù)器由于要適應(yīng)多種應(yīng)用,則更多兼顧性能、擴(kuò)展性,忽略了成本和能耗。而如果是專(zhuān)門(mén)為云定制的服務(wù)器,會(huì)針對(duì)云的特點(diǎn)進(jìn)行優(yōu)化設(shè)計(jì),從而更加符合用戶(hù)的需要。對(duì)于企業(yè)來(lái)說(shuō),它帶來(lái)的好處顯而易見(jiàn),試想一下,即使每臺(tái)定制化服務(wù)器節(jié)省的電力有限(4電源改2電源),但對(duì)于大規(guī)模部署的數(shù)據(jù)中心來(lái)說(shuō),長(zhǎng)此以往,成本的節(jié)約也是顯而易見(jiàn)的。比如Google所擁有的服務(wù)器都是自己設(shè)計(jì),采用定制化托盤(pán),內(nèi)建電池做備用電源,相比傳統(tǒng)服務(wù)器成本和耗電都要低得多,這也為Google節(jié)省了大筆的電力開(kāi)支。

從數(shù)據(jù)中心存儲(chǔ)方面考慮,架構(gòu)更加多樣和復(fù)雜化。在云計(jì)算、虛擬化、大數(shù)據(jù)等相關(guān)技術(shù)進(jìn)入數(shù)據(jù)中心后,存儲(chǔ)已經(jīng)發(fā)生了巨大的改變,塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)支撐起多種數(shù)據(jù)類(lèi)型的讀取;集中式存儲(chǔ)已經(jīng)不再是數(shù)據(jù)中心的主流存儲(chǔ)架構(gòu),海量數(shù)據(jù)的存儲(chǔ)訪問(wèn),需要擴(kuò)展性、伸縮性極強(qiáng)的分布式存儲(chǔ)架構(gòu)來(lái)實(shí)現(xiàn)。在大規(guī)模系統(tǒng)支撐上,分布式文件系統(tǒng)、分布式對(duì)象存儲(chǔ)等技術(shù),為存儲(chǔ)的各種應(yīng)用提供了高度可伸縮、可擴(kuò)展和極大的彈性支撐和強(qiáng)大的數(shù)據(jù)訪問(wèn)性能,并且因?yàn)檫@些分布式技術(shù)對(duì)標(biāo)準(zhǔn)化硬件的支持,使得大規(guī)模數(shù)據(jù)中心存儲(chǔ)得以低成本的建設(shè)和運(yùn)維。當(dāng)然分布式存儲(chǔ)不是要取代現(xiàn)有的盤(pán)陣,而是為了應(yīng)付高速成長(zhǎng)的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲(chǔ)系統(tǒng)。另外就是軟件定義存儲(chǔ),它代表了一種趨勢(shì),即存儲(chǔ)架構(gòu)中軟件和硬件的分離,也就是數(shù)據(jù)層和控制層的分離。對(duì)于數(shù)據(jù)中心用戶(hù)而言,通過(guò)軟件來(lái)實(shí)現(xiàn)對(duì)存儲(chǔ)資源的管理和調(diào)度,實(shí)現(xiàn)存儲(chǔ)資源的虛擬化 、抽象化、自動(dòng)化,能夠完整的實(shí)現(xiàn)數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個(gè)要求,使得存儲(chǔ)系統(tǒng)具備靈活、自由和高可用等特點(diǎn)。企業(yè)及互聯(lián)網(wǎng)數(shù)據(jù)以每年50%的速率在增長(zhǎng),新增數(shù)據(jù)中結(jié)構(gòu)化數(shù)據(jù)總量有限,多數(shù)為非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)中心存儲(chǔ)架構(gòu)隨著業(yè)務(wù)發(fā)展也需要極強(qiáng)的彈性適應(yīng)能力,低成本、海量擴(kuò)展、高并發(fā)性能是面向大型云數(shù)據(jù)中心運(yùn)營(yíng)存儲(chǔ)架構(gòu)的基本技術(shù)屬性。如何進(jìn)行數(shù)量龐大且雜亂無(wú)章的數(shù)據(jù)存儲(chǔ)與深度應(yīng)用處理,并迅速提取有價(jià)值的信息,形成商業(yè)決策將成為各類(lèi)型企業(yè)生存基礎(chǔ),也是今后存儲(chǔ)以及圍繞存儲(chǔ)架構(gòu)不斷衍生的業(yè)務(wù)發(fā)展方向。

最后從數(shù)據(jù)中心安全方面來(lái)考慮,安全就是若干個(gè)小項(xiàng):攻擊保護(hù)、升級(jí)備份、抓BUG/找BUG、腳本工具、數(shù)據(jù)安全、服務(wù)巡檢等項(xiàng)目,其中每一項(xiàng)拿出來(lái)其實(shí)都包含很多的內(nèi)容。比如說(shuō)到攻擊與保護(hù),這個(gè)主要指的是防止外來(lái)的異常入侵者對(duì)數(shù)據(jù)中心發(fā)起的惡意和無(wú)意攻擊,惡意攻擊就是有人故意的使用各種攻擊方法,進(jìn)入到數(shù)據(jù)中心內(nèi)部,將重要的數(shù)據(jù)竊取或者破壞,達(dá)到其不可告人的目的。也有的是無(wú)意的攻擊,因?yàn)檎麄€(gè)數(shù)據(jù)中心是要與外界保持互聯(lián)互通的,運(yùn)行是動(dòng)態(tài)的,變化的,不可避免會(huì)有一些異常流量攻擊數(shù)據(jù)中心,有時(shí)甚至來(lái)自于數(shù)據(jù)中心內(nèi)部,比如某些服務(wù)器中毒,或者硬件故障,構(gòu)造出了環(huán)路,異常流量等網(wǎng)絡(luò)故障,這些都會(huì)影響到數(shù)據(jù)中心的運(yùn)行,所以如何做好數(shù)據(jù)中心的攻擊與保護(hù)是一個(gè)很大的題目,這并不是在數(shù)據(jù)中心里部署幾臺(tái)安全設(shè)備就能解決的,需要對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行全面的統(tǒng)一規(guī)劃,并有針對(duì)性地部署一些安全防護(hù)措施,而且隨著各種黑客技術(shù)的提升,安全防護(hù)措施也要不斷提升,這是一個(gè)不斷學(xué)習(xí)與完善的過(guò)程,只要數(shù)據(jù)中心還在運(yùn)行,這個(gè)完善就不會(huì)停止。為了方便運(yùn)維,也要做好一些執(zhí)行腳本,以便在出現(xiàn)突發(fā)事件時(shí),能夠快速處理問(wèn)題。比如一個(gè)數(shù)據(jù)中心的業(yè)務(wù)出現(xiàn)異常,為了快速恢復(fù)業(yè)務(wù),需要將路由進(jìn)行調(diào)整,將流量全部引到其它的數(shù)據(jù)中心,這就需要在核心路由器上進(jìn)行調(diào)整,這時(shí)有個(gè)現(xiàn)成的腳本就可以自動(dòng)執(zhí)行,達(dá)到快速切換的目的。數(shù)據(jù)中心還應(yīng)該準(zhǔn)備很多其它工作的腳本,以便緊急的時(shí)候快速使用。

通過(guò)以上的分析您一定很驚訝,原來(lái)數(shù)據(jù)中心運(yùn)維包含這么多內(nèi)容,大大小小數(shù)十項(xiàng),而且每一項(xiàng)包含的內(nèi)容說(shuō)起來(lái)都不那么簡(jiǎn)單,也涉及很多的技術(shù)知識(shí)。通常數(shù)據(jù)中心是一個(gè)公司、企業(yè)或政府部門(mén)的信息處理中心,幾乎所有的業(yè)務(wù)都要經(jīng)由數(shù)據(jù)中心才能完成,所以數(shù)據(jù)中心對(duì)于一個(gè)企業(yè)或政府部門(mén)至關(guān)重要。而一個(gè)數(shù)據(jù)中心能否穩(wěn)定和高效運(yùn)行,運(yùn)維是真正的關(guān)鍵。只有將這些方方面面的運(yùn)維工作做好做細(xì)做到位,數(shù)據(jù)中心才能長(zhǎng)期穩(wěn)定。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)