全新文件系統(tǒng)出爐:Weka.io基準(zhǔn)測(cè)試結(jié)果剖析

責(zé)任編輯:editor007

作者:黃雅琦

2017-07-18 21:27:48

摘自:至頂網(wǎng)

Weka io宣布其文件存儲(chǔ)設(shè)備能夠向外擴(kuò)展至數(shù)十億文檔規(guī)模。其還為這套存儲(chǔ)資源池提供單一高性能可擴(kuò)展全局命名空間,以供集群內(nèi)的各應(yīng)用程序加以使用?;鶞?zhǔn)測(cè)試結(jié)果指出,“這套單一WekaIO Matrix文件系統(tǒng)利用60個(gè)EC2實(shí)例構(gòu)建起Amazon集群。

Weka.io宣布其文件存儲(chǔ)設(shè)備能夠向外擴(kuò)展至數(shù)十億文檔規(guī)模。更重要的是,其并未采取對(duì)象存儲(chǔ)機(jī)制,而只要求用戶重新構(gòu)建文件管理系統(tǒng)即可。

此次公布的WekaIO Matrix據(jù)稱重新發(fā)明了文件管理系統(tǒng)——這款軟件可運(yùn)行在任何包含SSD的商用服務(wù)器或者各云計(jì)算實(shí)例當(dāng)中,并可由此建立起集群。其還為這套存儲(chǔ)資源池提供單一高性能可擴(kuò)展全局命名空間,以供集群內(nèi)的各應(yīng)用程序加以使用。

Weka公司指出,該軟件能夠并行運(yùn)作,適用于閃存存儲(chǔ)介質(zhì),且符合POSIX標(biāo)準(zhǔn)。根據(jù)我們掌握的情況,其是目前世界上速度最快的分布式文件系統(tǒng),能夠在SPEC SFS 2014軟件構(gòu)建基準(zhǔn)測(cè)試當(dāng)中處理兩倍于IBM Spectrum Scale的工作負(fù)載量?;鶞?zhǔn)測(cè)試結(jié)果顯示,其可運(yùn)行500項(xiàng)構(gòu)建任務(wù)。Weka方面希望接下來(lái)再進(jìn)行一次SFS2014軟件構(gòu)建測(cè)試,這一次其將采用120個(gè)云計(jì)算實(shí)例——而非本輪測(cè)試中的60個(gè),用以證明其性能能夠隨著計(jì)算實(shí)例數(shù)量的增加而線性提升。

通過對(duì)SPEC SFS2014軟件構(gòu)建基準(zhǔn)測(cè)試的摘要信息進(jìn)行觀察,我們發(fā)現(xiàn)Weka Matrix使用了約14 TB內(nèi)存容量,遠(yuǎn)遠(yuǎn)高于Spectrum Scale的1 TB與甲骨文ZFS Storage的640 GB。因此盡管Weka在測(cè)試當(dāng)中勝出,但我們?nèi)匀粺o(wú)法判斷其是否擁有最佳性價(jià)比。畢竟單從測(cè)試結(jié)果尚不能得出結(jié)論。

基準(zhǔn)測(cè)試結(jié)果指出,“這套單一WekaIO Matrix文件系統(tǒng)利用60個(gè)EC2實(shí)例構(gòu)建起Amazon集群。數(shù)據(jù)受到15+2故障級(jí)別保護(hù)。所有數(shù)據(jù)與元數(shù)據(jù)皆被分布于整個(gè)集群當(dāng)中。”

“其部署模式采用一套超融合型架構(gòu),其中存儲(chǔ)與應(yīng)用服務(wù)運(yùn)行在同一套基礎(chǔ)設(shè)施之上。每個(gè)EC2實(shí)例擁有32個(gè)vCPU、24 GiB內(nèi)存以及2 x 320 GB(總計(jì)640 GB)本地SSD存儲(chǔ)容量。在32個(gè)虛擬CPU核心當(dāng)中,有2個(gè)核心(占總體比例的6.25%)配置為MatrixFS專用,其余30個(gè)則供應(yīng)用程序本身使用。每個(gè)實(shí)例有13 GB內(nèi)存(占總內(nèi)存量的5%)被分配給WekaIO。”

全新文件系統(tǒng)出爐:Weka.io基準(zhǔn)測(cè)試結(jié)果剖析

Matrix用戶界面截圖

該計(jì)算實(shí)例使用主頻為2.50 GHz的英特爾至強(qiáng)E5-2670 v2 CPU,而Weka在每個(gè)實(shí)例當(dāng)中使用2個(gè)計(jì)算核心與13 GB內(nèi)存。各服務(wù)器當(dāng)中的本地SSD被合并為一套邏輯資源池,而后作為單一命名空間交由主機(jī)應(yīng)用程序使用。其中的透明分層機(jī)制將冷門數(shù)據(jù)以不受限容量擴(kuò)展方式交由S3或者Swift云對(duì)象存儲(chǔ)服務(wù)處理,這些存儲(chǔ)資源同樣使用同一套命名空間。

位于硅谷的Weka公司由Liran Zvibel、Omri Palmon以及Maor Ben-Dayan于2013年創(chuàng)建,這是他們繼2008年被IBM收購(gòu)的XIV公司之后建立的第二家初創(chuàng)企業(yè)。該公司的此款軟件目前已經(jīng)開始接受訂購(gòu)。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)