大數(shù)據(jù)苦海明燈 化繁為簡(jiǎn)的六大部署要點(diǎn)

責(zé)任編輯:editor004

2014-12-02 11:00:47

摘自:HKITBLOG

在將大規(guī)模和分散式架構(gòu)組合在一起時(shí),我們就能發(fā)現(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)有一組特殊的需求,下面是需要考慮的六個(gè)要素:創(chuàng)建一個(gè)滿足所有這些需求的網(wǎng)絡(luò)需要具備前瞻性,不僅要考慮基礎(chǔ)架構(gòu)能夠支援的伸縮規(guī)模,還要考慮不同類型的應(yīng)用程式如何共存于同一環(huán)境中


 

香港企業(yè)采用大數(shù)據(jù)技術(shù)仍在起步,要考慮的事的確很多,但筆者認(rèn)為廠商經(jīng)常說(shuō)得過(guò)于復(fù)雜,令企業(yè)設(shè)計(jì)大數(shù)據(jù)架構(gòu)時(shí)存有疑問(wèn),例如在建構(gòu)時(shí)選何制定方案使用方法及規(guī)模,相信是很多決策人希望了解的事,那么我們嘗試化繁為簡(jiǎn),由淺入深了解部署時(shí)的考慮點(diǎn)。

在我們考慮大數(shù)據(jù)時(shí),注意力放在「大」這個(gè)字,但是在建設(shè)基礎(chǔ)架構(gòu)時(shí),我們還應(yīng)該注意「分散式」的數(shù)據(jù)處理。事實(shí)上,大數(shù)據(jù)軟件需要處理大量資訊,而且在將資料復(fù)制到多個(gè)位置時(shí),數(shù)據(jù)的容量便會(huì)倍增。但是,大數(shù)據(jù)的最重要屬性并不在于它的規(guī)模,而在于它將大作業(yè)分割成許多小作業(yè)的能力,它能夠?qū)⒁粋€(gè)任務(wù)的資源分散到多個(gè)位置變?yōu)橥瑫r(shí)處理。在將大規(guī)模和分散式架構(gòu)組合在一起時(shí),我們就能發(fā)現(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)有一組特殊的需求,下面是需要考慮的六個(gè)要素:

1.不容有失 提升網(wǎng)絡(luò)彈性

如果有一組分散式資源必須通過(guò)互聯(lián)網(wǎng)進(jìn)行協(xié)調(diào)時(shí),可用性就變得非常重要。萬(wàn)一網(wǎng)絡(luò)出現(xiàn)故障,便會(huì)出現(xiàn)不連續(xù)的計(jì)算資源與資料庫(kù)崩壞。說(shuō)白一點(diǎn),大多數(shù)網(wǎng)絡(luò)工程師的主要關(guān)注點(diǎn)是正常執(zhí)行時(shí)間,但是,網(wǎng)絡(luò)故障的原因又各不相同,包括設(shè)備故障(硬體與軟體)、維護(hù)和人為錯(cuò)誤。我們都知道伺服器故障是避無(wú)可避,網(wǎng)絡(luò)的可用性也很重要,所謂完美的設(shè)計(jì)其實(shí)是不存在。

網(wǎng)絡(luò)架構(gòu)師應(yīng)該設(shè)計(jì)一些能適應(yīng)故障的彈性網(wǎng)絡(luò),網(wǎng)絡(luò)的彈性取決于路徑多樣性(資源之間設(shè)置多條路徑)和容錯(cuò)移轉(zhuǎn)(能夠快速發(fā)現(xiàn)問(wèn)題和轉(zhuǎn)移到其他路徑上)。除了傳統(tǒng)的平均故障時(shí)間間隔(MTBF)方法,大數(shù)據(jù)網(wǎng)絡(luò)的設(shè)計(jì)標(biāo)準(zhǔn)一定要包括這些架構(gòu)。

2. 解決網(wǎng)絡(luò)擁塞

大數(shù)據(jù)應(yīng)用程式不僅僅是規(guī)模大,而且還有突發(fā)性的流量「洪峰」。當(dāng)一個(gè)程序啟動(dòng)后,數(shù)據(jù)就開(kāi)始流轉(zhuǎn),在高流量時(shí)段時(shí)擁塞造成的問(wèn)題可以很嚴(yán)重,例如可能引起更多的Queues增加延遲和packet lost。網(wǎng)絡(luò)擁塞還可能令請(qǐng)求多次發(fā)出,這可能讓本身負(fù)載繁重的網(wǎng)絡(luò)無(wú)法承受。因此,網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)時(shí)應(yīng)該盡可能減少擁塞點(diǎn),要網(wǎng)絡(luò)具有較高的路徑多樣性,這樣才能容許網(wǎng)絡(luò)流量分流到大量不同的路徑上。

3. 性能一致要比遲延性更重要

實(shí)際上,大多數(shù)大數(shù)據(jù)應(yīng)用程式對(duì)網(wǎng)絡(luò)延遲并不敏感。如果運(yùn)算時(shí)間以秒計(jì)或以分鐘計(jì)的話,即使出現(xiàn)較大延遲也是可以接受,例如為幾千ms。然而,大數(shù)據(jù)應(yīng)用程式一般具有較高的同步性。這意味著作業(yè)是并存執(zhí)行的,而各個(gè)作業(yè)之間較大的性能差異可能會(huì)引發(fā)應(yīng)用程式故障。除第1至2點(diǎn)提到網(wǎng)絡(luò)的高效性,空間和時(shí)間上也要具有一致的性能。

4. 預(yù)留未來(lái)的擴(kuò)展性

大多數(shù)大數(shù)據(jù)叢集實(shí)際上并不大,根據(jù)Hadoop Wizard的資料,2013年大數(shù)據(jù)叢集的平均節(jié)點(diǎn)數(shù)量只有100個(gè)。換句話說(shuō),即使每一臺(tái)伺服器配置雙重redundancy,支援整個(gè)叢集也只需要4個(gè)接入switch (假設(shè)是分別有72個(gè)10GbE網(wǎng)絡(luò)接口的Switch)。

擴(kuò)展性并不在于現(xiàn)在叢集現(xiàn)在有多大規(guī)模,而是在乎如何平衡地?cái)U(kuò)展支援未來(lái)的部署規(guī)模。如果基礎(chǔ)架構(gòu)設(shè)計(jì)現(xiàn)在只適合小規(guī)模部署,那么整個(gè)架構(gòu)將如何隨著節(jié)點(diǎn)數(shù)量的增加而不斷進(jìn)化?未來(lái)何時(shí)需要完全重新設(shè)計(jì)?這個(gè)架構(gòu)是否需要一些近程資料和資料位置資訊?關(guān)鍵是擴(kuò)展性并不在于絕對(duì)規(guī)模,而是更關(guān)注于實(shí)現(xiàn)足夠規(guī)模解決方案的路徑。

5. 網(wǎng)絡(luò)分割 關(guān)鍵任務(wù)先行

網(wǎng)絡(luò)分割是大數(shù)據(jù)應(yīng)用環(huán)境的重要條件,形式上,要將大數(shù)據(jù)的流量與其他網(wǎng)絡(luò)流量區(qū)分開(kāi)來(lái),這樣應(yīng)用程式產(chǎn)生的突發(fā)流量才不會(huì)影響其他關(guān)鍵任務(wù)網(wǎng)絡(luò)負(fù)載。除此之外,運(yùn)行多個(gè)作業(yè)的多個(gè)用戶,以滿足性能、合規(guī)性和審計(jì)的要求。這些工作要求在一些場(chǎng)合中實(shí)現(xiàn)網(wǎng)絡(luò)負(fù)載的邏輯分離,某些場(chǎng)合還要作物理分離。

6. 應(yīng)用感知力

雖然大數(shù)據(jù)的概念與Hadoop部署關(guān)系密切,但是它已經(jīng)成為叢集環(huán)境的代名詞。根據(jù)不同應(yīng)用程式的特點(diǎn),環(huán)境的需求隨之不同。有一些可能對(duì)頻寬要求高,一些則可能對(duì)延遲很敏感??傊粋€(gè)網(wǎng)絡(luò)要支援多應(yīng)用程式和多用戶,它就必須要能夠區(qū)分自己的工作負(fù)載,并且要能夠正確處理各個(gè)工作負(fù)載,不僅僅是提供足夠的頻寬。

最后,應(yīng)用程式體驗(yàn)取決于很多因素,包括網(wǎng)絡(luò)擁塞和分割。創(chuàng)建一個(gè)滿足所有這些需求的網(wǎng)絡(luò)需要具備前瞻性,不僅要考慮基礎(chǔ)架構(gòu)能夠支援的伸縮規(guī)模,還要考慮不同類型的應(yīng)用程式如何共存于同一環(huán)境中。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)