數(shù)據(jù)中心里故障分析的“望聞問切”四診

責(zé)任編輯:賈世華

作者:harbor

2014-12-03 11:16:09

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

數(shù)據(jù)中心里的故障每天其實都在上演,只是我們很少感知到而已,只有出現(xiàn)非常嚴(yán)重的故障時,我們才能感受得到。

我們在日常工作和生活中享受著信息時代的便利,殊不知這背后有著成千上萬的技術(shù)工程師在辛勤地工作著。數(shù)據(jù)中心里的故障每天其實都在上演,只是我們很少感知到而已,只有出現(xiàn)非常嚴(yán)重的故障時,我們才能感受得到。一個優(yōu)秀的數(shù)據(jù)中心,在業(yè)務(wù)處理的各個方面都會考慮備份,當(dāng)任何一臺設(shè)備出現(xiàn)問題時,業(yè)務(wù)都會向其它設(shè)備平滑遷移,只有在很少的情況下,所有的備份機(jī)制都出問題時,業(yè)務(wù)才會受到影響。數(shù)據(jù)中心要做到不出問題幾乎是做不到的,這其中有各種各樣的原因:硬件的,軟件的,操作的,人為的等等。那么一旦數(shù)據(jù)中心遇到了故障,如何快速的去分析和診斷呢?中醫(yī)里講究望聞問切。望,指觀氣色;聞,指聽聲息;問,指詢問癥狀;切,指摸脈象。各稱四診。這里引用中醫(yī)里的“望聞問切”來說明一下數(shù)據(jù)中心故障診斷的四大方法。

當(dāng)接手一個數(shù)據(jù)中心故障時,往往最先從業(yè)務(wù)部門得知,這時要檢查整個數(shù)據(jù)中心承載業(yè)務(wù)的運行情況,檢查網(wǎng)管監(jiān)控的各個節(jié)點流量是否出現(xiàn)異常,檢查業(yè)務(wù)訪問是集中于一定區(qū)域還是特定的幾臺服務(wù)器,盡量縮小故障查找的范圍,要進(jìn)行有目的的觀察。業(yè)務(wù)上異常的表現(xiàn)必然和數(shù)據(jù)中心基礎(chǔ)設(shè)施:服務(wù)器、網(wǎng)絡(luò)、存儲、安全等有關(guān)聯(lián)。要通過“望”,透過業(yè)務(wù)故障的表面現(xiàn)象,看到問題的本質(zhì)。比如我們通過網(wǎng)頁去訪問銀行卡系統(tǒng),如果訪問失敗,那么表現(xiàn)可能是多種多樣的,可能是輸入用戶名無法登陸,可能是訪問個人數(shù)據(jù)出錯,也可能是無法完成查詢、異地轉(zhuǎn)帳等各種具體業(yè)務(wù)功能。當(dāng)短時間內(nèi)無法確知問題產(chǎn)生的來源時,要通過“望”對數(shù)據(jù)中心整體業(yè)務(wù)運行狀況做檢查,看是否有和平日里相比運行異常的地方。根據(jù)這些差異,推斷可能問題出在了哪里。

并不是所有的問題都那么好發(fā)現(xiàn),有的隱藏得很深。這就需要“聞”。“聞”指的是通過一些診斷手段去分析現(xiàn)有數(shù)據(jù)中心的運行狀態(tài)是否正常。比如可以通過PING工具,對數(shù)據(jù)中心里的各個設(shè)備進(jìn)行訪問,看是否有不可達(dá)的。通過模擬業(yè)務(wù)訪問,看是否能夠正常操作,具體是什么操作是失敗的,將故障進(jìn)行分解。要知道數(shù)據(jù)中心里的設(shè)備多達(dá)數(shù)千臺,運行的應(yīng)用也有數(shù)十種,怎么能夠快速找到故障點是一件非常耗時的事情。通過“聞”對數(shù)據(jù)中心做各種模擬測試,就可以排除干擾,將故障表現(xiàn)集中在一點,然后才能對癥下藥。

“望”和“聞”都是通過各種手段快速地找到是哪里有故障,有時這些手段得到的結(jié)果容易是片面的,甚至根本沒有時間去做,那么從現(xiàn)場得到的故障表現(xiàn)描述就非常關(guān)鍵了。根據(jù)現(xiàn)場人員的反饋,了解問題最初的現(xiàn)象,從問題的表現(xiàn)上來推斷可能哪里出現(xiàn)了問題。比如有人反饋搜索系統(tǒng)出現(xiàn)了問題,在搜索框里輸入字符總是得到搜索失敗的結(jié)果,根據(jù)這樣的描述,我們將故障放在運行搜索業(yè)務(wù)的集群系統(tǒng)里。在這個集群系統(tǒng)里可能還包含著幾百臺同時工作的服務(wù)器,還有網(wǎng)絡(luò)設(shè)備和存儲設(shè)備,到底是哪里出了問題。那么看搜索是否只有特定的字符搜不到,是否是因為延遲過大而不得到結(jié)果,是否是有服務(wù)器出現(xiàn)掛死,而導(dǎo)致訪問這臺都得不到結(jié)果,等等。通過了解詳細(xì)的故障描述,那么就基本可以確定故障分析的方向,然后再去細(xì)化。“問”的環(huán)節(jié)至關(guān)重要,不僅要聽現(xiàn)場人員的反饋,還要進(jìn)行咨詢,有時現(xiàn)場人員只是將看到的故障一部分表現(xiàn)說出來,并不了解數(shù)據(jù)中心系統(tǒng)運行的機(jī)制,所以需要主動進(jìn)行“問”,用自己的思路去詢問。了解的越準(zhǔn)確,了解的越細(xì)節(jié),那么排除故障所耗費的時間就越短。如果反饋的現(xiàn)象本身就是錯誤的,往往將技術(shù)人員帶入到了錯誤的分析過程里,甚至找不到故障的原因。所以有些時候也不能完全依賴“問”得到的信息,還要結(jié)合“望”和“聞”,綜合分析和判斷,最終找到故障點。

根據(jù)故障描述,通過“切”來查找故障根因。“切”就是具體的診治了,通過“望”,“聞”,“問”,基本將故障縮小在幾臺設(shè)備之間,或者是一個應(yīng)用系統(tǒng)中的某個部分,這時就要對故障涉及的設(shè)備進(jìn)行深入診治。數(shù)據(jù)中心涉及的設(shè)備五花八門,任何設(shè)備都有出問題的可能,當(dāng)已經(jīng)將故障縮小在了某個設(shè)備上時,通過平時積累的設(shè)備運維指導(dǎo)進(jìn)行分析,如果無法找到原因,立即求助設(shè)備廠商支援。為了縮小業(yè)務(wù)故障的時間,可能將業(yè)務(wù)割接到其它設(shè)備上。“切”的過程需要有對設(shè)備內(nèi)部運行機(jī)制非常精通的人才能診治。這也像我們不舒服時去看病一樣,根據(jù)哪里難受先掛個內(nèi)科或者外科,然后醫(yī)生根據(jù)描述,再讓做各種檢查,縮小范圍,可能再到骨科或者頸椎科做進(jìn)一步判斷,然后再分頭骨還是腿骨,最終將病變部位找到。通過“切”就是要消除病根,徹底解決問題。

通過“望聞問切”對數(shù)據(jù)中心里發(fā)生的各種故障進(jìn)行診治,往往可以節(jié)省解決故障的時間,作為數(shù)據(jù)中心里的故障排查專家,尤其要掌握好“望聞問切”的本領(lǐng)?,F(xiàn)在的數(shù)據(jù)中心認(rèn)證已經(jīng)有了故障排查專家的認(rèn)證了,其主要考核的就是對故障分析過程的掌握情況。一個數(shù)據(jù)中心故障分析的專家往往并不需要對所有的技術(shù)都精通,實際上也做不到,但是要有一個分析問題的清晰思路,能夠透過故障現(xiàn)象看到問題的本質(zhì)。正如中醫(yī)里的四診,數(shù)據(jù)中心里也需要四診。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號