大數(shù)據(jù)時(shí)代:存儲(chǔ)基礎(chǔ)設(shè)施應(yīng)該如何部署

責(zé)任編輯:vivian

2012-04-24 08:51:32

摘自:it168

最近,大家都在討論大數(shù)據(jù)分析及其帶來(lái)的商業(yè)情報(bào)的價(jià)值,但是在企業(yè)從這些數(shù)據(jù)中挖掘出有效信息之前,他們必須弄清楚該如何存儲(chǔ)這些大數(shù)據(jù)。

最近,大家都在討論大數(shù)據(jù)分析及其帶來(lái)的商業(yè)情報(bào)的價(jià)值,但是在企業(yè)從這些數(shù)據(jù)中挖掘出有效信息之前,他們必須弄清楚該如何存儲(chǔ)這些大數(shù)據(jù)。

完全不同的PB級(jí)基礎(chǔ)設(shè)施

“PB級(jí)基礎(chǔ)設(shè)施是完全不同的一回事,”Day表示,“它們很難建立和維護(hù)。PB或多PB級(jí)基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡(jiǎn)直就像白天和黑夜的差別,就像在筆記本電腦上處理數(shù)據(jù)和在RAID陣列上處理數(shù)據(jù)之間的差別。”

當(dāng)Day在2009年加入Shutterfly時(shí),存儲(chǔ)已經(jīng)成為該公司最大的開支,并且以飛快的速度增長(zhǎng)。

“每N個(gè)PB的額外存儲(chǔ)意味著我們需要另一個(gè)存儲(chǔ)管理員來(lái)支持物理和邏輯基礎(chǔ)設(shè)施,”Day表示,“面對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ),系統(tǒng)會(huì)更頻繁地出問(wèn)題,任何管理超大存儲(chǔ)的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問(wèn)題是:當(dāng)你知道存儲(chǔ)的一部分將在一段時(shí)間內(nèi)出現(xiàn)問(wèn)題,你應(yīng)該如何確保數(shù)據(jù)可用性,同時(shí)確保不會(huì)降低性能?”

RAID問(wèn)題

解決故障的標(biāo)準(zhǔn)答案是復(fù)制,通常以RAID陣列的形式。但Day表示,面對(duì)龐大規(guī)模的數(shù)據(jù)時(shí),RAID解決問(wèn)題的同時(shí)可能會(huì)制造更多問(wèn)題。在傳統(tǒng)RAID數(shù)據(jù)存儲(chǔ)方案中,每個(gè)數(shù)據(jù)的副本都被鏡像和存儲(chǔ)在陣列的不同磁盤中,以確保完整性和可用性。但這意味著每個(gè)被鏡像和存儲(chǔ)的數(shù)據(jù)將需要其本身五倍以上的存儲(chǔ)空間。隨著RAID陣列中使用的磁盤越來(lái)越大(從密度和功耗的角度來(lái)看,3TB磁盤非常具有吸引力),更換故障驅(qū)動(dòng)器的時(shí)間也將變得越來(lái)越長(zhǎng)。

“實(shí)際上,我們使用RAID并不存在任何操作問(wèn)題,”Day表示,“我們看到的是,隨著磁盤變得越來(lái)越大,當(dāng)任何組件發(fā)生故障時(shí),我們回到一個(gè)完全冗余的系統(tǒng)的時(shí)間增加。生成校驗(yàn)是與數(shù)據(jù)集的大小成正比的。當(dāng)我們開始使用1TB和2TB的磁盤時(shí),回到完全冗余系統(tǒng)的時(shí)間變得很長(zhǎng)??梢哉f(shuō),這種趨勢(shì)并沒(méi)有朝著正確的方向發(fā)展。”

對(duì)于Shutterfly而言,可靠性和可用性是非常關(guān)鍵的因素,這也是企業(yè)級(jí)存儲(chǔ)的要求。Day表示,其快速膨脹的存儲(chǔ)成本使商品系統(tǒng)變得更具吸引力。當(dāng)Day及其團(tuán)隊(duì)在研究潛在技術(shù)解決方案以幫助控制存儲(chǔ)成本時(shí),他們對(duì)于一項(xiàng)叫做糾刪碼(erasure code)的技術(shù)非常感興趣。

采用擦除代碼技術(shù)的下一代存儲(chǔ)

里德-所羅門糾刪碼最初作為前向糾錯(cuò)碼(Forward Error Correction, FEC)用于不可靠通道的數(shù)據(jù)傳輸,例如外層空間探測(cè)的數(shù)據(jù)傳輸。這項(xiàng)技術(shù)還被用于CD和DVD來(lái)處理光盤上的故障,例如灰塵和劃痕。一些存儲(chǔ)供應(yīng)商已經(jīng)開始將糾刪碼納入他們的解決方案中。使用糾刪碼,數(shù)據(jù)可以被分解成幾塊,單塊分解數(shù)據(jù)是無(wú)用的,然后它們被分散到不同磁盤驅(qū)動(dòng)器或者服務(wù)器。在任何使用,這些數(shù)據(jù)都可以完全重組,即使有些數(shù)據(jù)塊因?yàn)榇疟P故障已經(jīng)丟失。換句話說(shuō),你不需要?jiǎng)?chuàng)建多個(gè)數(shù)據(jù)副本,單個(gè)數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性。

基于糾刪碼的解決方案的早期供應(yīng)商之一是Cleversafe公司,他們添加了位置信息來(lái)創(chuàng)建其所謂的分散編碼,讓用戶可以在不同位置(例如多個(gè)數(shù)據(jù)中心)存儲(chǔ)數(shù)據(jù)塊或者說(shuō)數(shù)據(jù)片。

每個(gè)數(shù)據(jù)塊就其自身而言是無(wú)用的,這樣能夠確保隱私性和安全性。因?yàn)樾畔⒎稚⒓夹g(shù)使用單一數(shù)據(jù)來(lái)確保數(shù)據(jù)完整性和可用性,而不是像RAID一樣使用多個(gè)副本,公司可以節(jié)省多達(dá)90%的存儲(chǔ)成本。

“當(dāng)你將試圖重組數(shù)據(jù)時(shí),你并不一定需要提供所有數(shù)據(jù)塊,”Cleversafe公司產(chǎn)品策略、市場(chǎng)營(yíng)銷和客戶解決方案副總裁Russ Kennedy表示,“你生成的數(shù)據(jù)塊的數(shù)量,我們稱之為寬度,我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時(shí),即使你丟失節(jié)點(diǎn)和驅(qū)動(dòng)器,你仍然能夠得到原來(lái)形式的數(shù)據(jù)。通過(guò)RAID你能夠獲取的最高可靠性是雙奇偶校驗(yàn),你可以丟失兩個(gè)驅(qū)動(dòng)器,而通過(guò)我們的解決方案,你最多可以丟失六個(gè)。”

糾刪碼也是一個(gè)基于軟件的技術(shù),這意味著它可以與商品硬件使用,更大程度地降低了成本。

建立下一代存儲(chǔ)基礎(chǔ)設(shè)施

“在確定正確的技術(shù)后,我們看了很多這個(gè)領(lǐng)域提供解決方案的供應(yīng)商,”Day表示,“我們希望自己來(lái)建立,但是如果我們能夠找到一個(gè)滿足我們的要求且具備可靠系統(tǒng)的公司,那事情就更好辦了。”

Shutterfly將四家供應(yīng)商帶到其實(shí)驗(yàn)室進(jìn)行評(píng)估,為其數(shù)據(jù)中心需要的存儲(chǔ)設(shè)備建立原型,Day表示,他希望看到性能、可用性、容錯(cuò)率和管理方面的評(píng)估信息。

“我們有一個(gè)專門管理照片存檔的工作人員,”他表示,“2010年我們遇到的最大問(wèn)題之一就是照片存檔的不斷增加,使我們不得不壯大員工隊(duì)伍,但這增加了我們的開支。”

Day表示經(jīng)過(guò)評(píng)估,Cleversafe更加適合Shutterfly,這主要是因?yàn)樵摴驹敢馀cShutterfly配合根據(jù)Shutterfly的需求來(lái)調(diào)整其解決方案。這兩家公司開始經(jīng)歷了一些列的概念證明階段,包括在Shutterfly實(shí)驗(yàn)室的負(fù)載和性能測(cè)試。在Shutterfly對(duì)操作和性能感到滿意后,Cleversafe在生產(chǎn)中放置了一個(gè)并行存儲(chǔ)基礎(chǔ)設(shè)施,直接將所有Shutterfly流量的副本導(dǎo)向Cleversafe。

“每張上傳的照片都被寫入我們?cè)械幕A(chǔ)設(shè)施和Cleversafe的基礎(chǔ)設(shè)施,”Day表示,“我們運(yùn)行了六個(gè)月,包括節(jié)假日。”

節(jié)假日是Shutterfly的高峰期,因?yàn)橛脩襞牧撕芏嗾掌?/p>

Shutterfly在2011年開始使用Cleversafe的存儲(chǔ)解決方案,并一直將其作為主要圖像庫(kù)。

基于糾刪碼存儲(chǔ)的總體擁有成本

“這其實(shí)是一個(gè)軟件解決方案,讓我們可以部署非常具有成本效益的硬件,”Day表示,“從總體擁有成本角度來(lái)看,這給我們帶來(lái)了巨大的改變。我們與硬件供應(yīng)商溝通時(shí),具有更大的靈活性,并且能夠保證我們購(gòu)買最具成本效益的驅(qū)動(dòng)器和基礎(chǔ)設(shè)施。”

Day表示,“管理存儲(chǔ)池也大大簡(jiǎn)化。”

“基本上我們只需要添加另一個(gè)存儲(chǔ)塊,它會(huì)自動(dòng)被添加到我們?yōu)槠渲付ǖ拇鎯?chǔ)池,”他表示,“以前,我們每次添加額外的存儲(chǔ)空間,都不得不重復(fù)相同的工作。”

另外,現(xiàn)在當(dāng)驅(qū)動(dòng)器故障或者脫機(jī)時(shí),Shutterfly的存儲(chǔ)基礎(chǔ)設(shè)施能夠?qū)⑵錁?biāo)記為“不可用”,并繞過(guò)該驅(qū)動(dòng)器來(lái)路由數(shù)據(jù),同時(shí)透明地恢復(fù)該驅(qū)動(dòng)器上的數(shù)據(jù)。Day表示其團(tuán)隊(duì)現(xiàn)在可以簡(jiǎn)單地發(fā)現(xiàn)故障,然后根據(jù)預(yù)定的維護(hù)時(shí)間表更換受影響的基礎(chǔ)設(shè)施。

“我們不再需要像以前一樣增加人員,”他表示,“我們?nèi)匀辉谠鲩L(zhǎng),但是速度比以前慢得多。日常維護(hù)工作量有所下降,管理員能夠花更多時(shí)間在其他項(xiàng)目上。”

只要存儲(chǔ)數(shù)據(jù),就具有洞察力

Shutterfly只是一家與大多數(shù)公司一樣需要處理大量數(shù)據(jù)的互聯(lián)網(wǎng)公司,各行各業(yè)的公司都正在面對(duì)不斷增加的數(shù)據(jù)量。

Day表示:“在過(guò)去四五年間,我們看到很多應(yīng)用程序和技術(shù)進(jìn)入市場(chǎng),讓處理大數(shù)據(jù)成為可能,這真的非常令人激動(dòng),因?yàn)檫@些技術(shù)讓企業(yè)能夠通過(guò)分析細(xì)粒度數(shù)據(jù)而獲取業(yè)務(wù)價(jià)值。”

“我們正處在大數(shù)據(jù)的非常早期階段,”Day表示,“另一個(gè)有趣的因素是隨著企業(yè)開始面對(duì)更多實(shí)時(shí)客戶交互,他們正產(chǎn)生大量數(shù)據(jù),現(xiàn)在我們能通過(guò)分析這些數(shù)據(jù)獲取真正具有影響力的商業(yè)洞察力,但這些都取決于我們可靠地存儲(chǔ)大量數(shù)據(jù)的能力。”

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)