NEC低調(diào)透露:我有一款高端重復(fù)數(shù)據(jù)刪除磁盤備份設(shè)備

責(zé)任編輯:editor007

作者:楊昀煦

2016-12-14 17:55:26

摘自:ZDNet至頂網(wǎng)

NEC公司擁有目前世界上規(guī)模最大且最具向外擴展能力的重復(fù)數(shù)據(jù)刪除備份型磁盤陣列,但我們幾乎從來沒有聽說過這一消息。該產(chǎn)品擁有內(nèi)聯(lián)全局重復(fù)數(shù)據(jù)刪除、在線節(jié)點擴展、NEC自有擦除編碼保護、廣域網(wǎng)優(yōu)化型同步壓縮后復(fù)制以及多生成節(jié)點支持能力。

 

NEC公司以極為低調(diào)的方式透露其擁有一款高端重復(fù)數(shù)據(jù)刪除磁盤備份設(shè)備

 

IT巨頭小聲嘟囔著:我們不喜歡炫耀……

NEC公司擁有目前世界上規(guī)模最大且最具向外擴展能力的重復(fù)數(shù)據(jù)刪除備份型磁盤陣列,但我們幾乎從來沒有聽說過這一消息。而且根據(jù)IDC方面的統(tǒng)計,NEC公司無論是在出貨量層面還是營收層面,都算不上是世界前六大備份設(shè)備供應(yīng)商。

不過其擁有掌握著1100家客戶與1800套裝機容量,管理有約3 EB存儲數(shù)據(jù),且始終靜靜地守護著這一切。

這套方案的擴展能力由單節(jié)點到165節(jié)點,且具備全局重復(fù)數(shù)據(jù)刪除功能——事實上,這一點在目前磁盤備份市場領(lǐng)導(dǎo)者EMC的Data Domain產(chǎn)品中從未能實現(xiàn)。

為什么NEC公司要對自身掌握的技術(shù)如此低調(diào)?

事實上,NEC是一家非常典型的大型日本企業(yè)集團,其一直在不斷制造各類技術(shù)方案并將其銷售至全球市場。這家歷史超過130年的企業(yè)擁有99000名員工并掌握著超過64000項專業(yè),在全球設(shè)有9個研發(fā)實驗室,但卻僅僅提出一句看似空洞的使命性口號:構(gòu)建一個美好的世界。

NEC公司表示,其技術(shù)創(chuàng)新“使得我們讓人們擁有更為美好的生活。”

該公司的電信技術(shù)部門價值62.16億美元,公共部門業(yè)務(wù)價值68.5億美元,系統(tǒng)平臺業(yè)務(wù)價值60.7億美元,而即使是規(guī)模相對較小的企業(yè)業(yè)務(wù)部門也擁有22.5億美元價值。

與日立不同,NEC公司并非采取美國的管理及企業(yè)文化在美國境內(nèi)設(shè)置類似于HDS的子公司。其NEC美國集團,簡稱NECAM,仍然由日本方面直接領(lǐng)導(dǎo)。

一位造訪其硅谷辦事處的新聞記者先后采訪了NEC公司IT平臺運營副總裁Hide Senta、產(chǎn)品經(jīng)理Nobu Morita、執(zhí)行首席工程師兼HYDRAstor CTO Hiroaki Mizumachi,希望借此了解該公司的企業(yè)文化。當(dāng)然,這里也聚焦著眾多來自美國及歐洲的員工。

正如我們對于日本企業(yè)的一貫印象,NEC公司最大的優(yōu)勢在于其日式管理文化,而最大的缺點……同樣是以平靜、量化及低調(diào)著稱的日式管理文化。

在NEC公司的眾多“智能化企業(yè)”產(chǎn)品當(dāng)中,M系列SAN陣列包含磁盤與全閃存類產(chǎn)品,WB系列為光纖交換機,HS系列則為以HYDRAstor品牌銷售的備份與歸檔存儲產(chǎn)品。

HYDRAstor

這款產(chǎn)品源自2002年的一個研究項目,其于2006年進行beta測試階段并于2007年推出第一代HYDRA產(chǎn)品。該系列方案隨后一直保持著穩(wěn)定的更新周期:2008年推出HYDRA2,2010年推出MiniHYDRA(HS3)、2011年推出HYDRA3,2013年推出HYDRA4,2014年推出第五代以及歸檔專用HS6產(chǎn)品。憑借著重復(fù)數(shù)據(jù)刪除技術(shù)的配合,其性能提升達46倍。

該產(chǎn)品擁有內(nèi)聯(lián)全局重復(fù)數(shù)據(jù)刪除、在線節(jié)點擴展、NEC自有擦除編碼保護、廣域網(wǎng)優(yōu)化型同步壓縮后復(fù)制以及多生成節(jié)點支持能力。其初步設(shè)計主要面向高性能計算市場以及對于速度要求較高的并行數(shù)據(jù)提取用例。

其采用的前端訪問協(xié)議包括NFS、CIFS、OST、UEI以及REST。

NEC公司剛剛發(fā)布了一套純軟件版本——HYDRAstor Virtual Appliance(簡稱VA)。其能夠部署在vSphere或者Hyper-V環(huán)境當(dāng)中,且可支持1到16 TB容量區(qū)間。其設(shè)計思路在于由遠程及分支機構(gòu)加以使用,并可通過災(zāi)難恢復(fù)鏈接返回中央站點。其定價為2000美元起,其中包含全部軟件并配備有復(fù)制、加密、WORM以及重復(fù)數(shù)據(jù)刪除功能。

技術(shù)

這套系統(tǒng)擁有兩類節(jié)點——混合加速節(jié)點(x86服務(wù)器)與存儲節(jié)點——用于提供相互獨立的性能與容量擴展能力。其中存儲節(jié)點目前采用6 TB SATA驅(qū)動器。該系統(tǒng)采用對象存儲配合NEC自家擦除編碼以實現(xiàn)數(shù)據(jù)保護。重復(fù)數(shù)據(jù)刪除技術(shù)適用于全部節(jié)點上的全部數(shù)據(jù)。其中亦包含一套分布式哈希表,且重復(fù)數(shù)據(jù)刪除與哈希表皆可隨節(jié)點增加實現(xiàn)線性處理規(guī)模提升。

下面來看數(shù)據(jù)進入該陣列后的整個處理流程。

首先,全部數(shù)據(jù)都會采用可變塊大小經(jīng)過重復(fù)數(shù)據(jù)刪除處理, NEC方面表示HYDRAstor擁有目前業(yè)界最快的單控制器寫入速度,每小時達63 TB; 而系統(tǒng)整體的每小時5.2 PB速度更是高達業(yè)界其它同類解決方案的25倍。

NEC公司以極為低調(diào)的方式透露其擁有一款高端重復(fù)數(shù)據(jù)刪除磁盤備份設(shè)備

擦除編碼原理

在此之后,其會利用基于柯西公式的里德索羅門編碼進行代碼擦除。具體來講,代碼會被拆分成多個片段,并通過數(shù)學(xué)處理以生成在數(shù)量上等同于所需保護驅(qū)動器的額外及冗余碎片。如果輸入數(shù)據(jù)被拆分成10個片段外加6個新增保護片段,那么這16個片段將被寫入16臺獨立的驅(qū)動器或者節(jié)點當(dāng)中,而其中任意6塊驅(qū)動器故障后數(shù)據(jù)皆可實現(xiàn)完整恢復(fù)。

這一數(shù)學(xué)處理方法被稱為前向糾錯,且通?;诶锏滤髁_門編碼機制。其需要額外存儲的數(shù)據(jù)量低于RAID模式,且可保護同等數(shù)量的故障驅(qū)動器。這里最值得關(guān)注的參數(shù)有二,其一為計算擦除編碼及數(shù)據(jù)恢復(fù)時占用的CPU資源量,其二為存儲原始數(shù)據(jù)額外片段所需要的具體磁盤容量。

NEC公司指出,HYDRAstor模式——即分布式彈性數(shù)據(jù)——較其它擦除編碼方案更為高效。其能夠?qū)崿F(xiàn)相當(dāng)于RAID 10到50倍的驅(qū)動器/節(jié)點故障恢復(fù)速度。默認設(shè)置可防止3臺驅(qū)動器故障,需要額外占用25%存儲容量; 但大家也可以將故障驅(qū)動器數(shù)量設(shè)置為6塊或者1塊。大家可以為不同應(yīng)用場景設(shè)置不同的彈性水平。在3級彈性水平(相當(dāng)于9數(shù)據(jù)片段與3奇偶校驗片段),NEC方面表示大家可以實現(xiàn)1.5倍于RAID 6的保護效果,且恢復(fù)速度更快、占用資源量更低。

這項技術(shù)會將輸入數(shù)據(jù)立足子空間概念進行分發(fā),而后將其寫入至磁盤上的日志類存儲桶內(nèi)。單一節(jié)點可容納超過一套子空間。

大型系統(tǒng)客戶

HYDRAstor到底有多出色?NECAM方面提到,某家南非銀行(很可能是南非第一國家銀行)已經(jīng)利用HYDRAstor方案取代了12套DD890與6套DD990 Data Domain系統(tǒng),外加6套5330 NetBackup Appliances方案。

來自美國的全球支付協(xié)會亦于2010年利用18臺HYDRAstor節(jié)點替代了原有LTO磁帶。其目前在多座數(shù)據(jù)中心內(nèi)使用108臺節(jié)點。

在我看來,NECAM確實已經(jīng)在這一領(lǐng)域占得優(yōu)勢,特別是考慮到包括Data Domain在內(nèi)的任何其它磁盤備份系統(tǒng)都根本無法應(yīng)對不斷增長的超大規(guī)模客戶數(shù)據(jù)存儲需求。日立數(shù)據(jù)系統(tǒng)公司于2014年收購了HYDRAstor的競爭對手Sepaton,其目前被命名為日立保護平臺公司,且主要針對RAID 6開發(fā)重復(fù)數(shù)據(jù)刪除與復(fù)制功能——而非擦除編碼。

在一份白皮書中,HDS方面宣稱這是“目前業(yè)界最為強大且靈活的數(shù)據(jù)保護平臺,”能夠憑借其網(wǎng)格擴展性架構(gòu)提供“無與倫比的性能與容量可擴展性。”

如果大家需要一套高端、基于磁盤的備份與歸檔向外擴展系統(tǒng),那么HYDRAstor與HDS系統(tǒng)無疑是您最理想的兩個選項——而考慮到擦除編碼功能的存在,NEC無疑更勝一籌。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號