引言
在北京舉行的LUG(Lustre User Group)2015會議上,做為主辦方Intel的合作伙伴,戴爾公司高性能計算技術(shù)顧問凌巍才先生發(fā)表了主題為《面向高性能計算的Dell/Intel Lustre存儲解決方案》的演講。
在本文中,小編截取了演講里的一些精華內(nèi)容,并加入部分自己的理解和認(rèn)識。希望能夠?qū)Υ蠹矣兴鶐椭?/p>
Lustre并行文件系統(tǒng)的優(yōu)勢和挑戰(zhàn)
根據(jù)上面的圖表,IDC在2014年5月的統(tǒng)計數(shù)字顯示50%的高性能計算存儲使用了Lustre文件系統(tǒng),GPFS和NFS的份額分別為21%和17%。而在2013年另一家分析機(jī)構(gòu)的存儲管理軟件調(diào)查中,Lustre也高居第一位。
開源的Lustre屬于一種分布式文件系統(tǒng),同時也是并行文件系統(tǒng)。它的優(yōu)勢包括提供單一命名空間;可增加節(jié)點(diǎn)數(shù)來擴(kuò)展容量和性能,并支持在線擴(kuò)展;支持多個客戶端并發(fā)讀/寫,通過分布式鎖機(jī)制保障數(shù)據(jù)一致性等。
有人說與開源伴生的一個名詞是折騰。筆者很早就聽說過Lustre對設(shè)計、部署和調(diào)優(yōu)的技術(shù)要求較高;其實(shí)別的一些文件系統(tǒng)(乃至商業(yè)文件系統(tǒng))也類似,用起來不難,但真正用好了不容易。
如上圖,存在挑戰(zhàn)之處可能包括:應(yīng)用設(shè)計、工作負(fù)載模型、網(wǎng)絡(luò)帶寬、IO模型(主要影響元數(shù)據(jù)性能)、OSS(對象存儲服務(wù)器)和LUN的負(fù)載均衡、故障切換以及I/O優(yōu)化等方面。那么對于在Lustre技術(shù)上積累還不夠的用戶,怎樣快速有效地解決這些問題呢?
戴爾HPC方案架構(gòu)、存儲配置建議
Lustre最主要的用途是高性能計算,上圖為戴爾的HPC方案架構(gòu),存儲是其中的一個部分。關(guān)于計算節(jié)點(diǎn)的選擇,刀片服務(wù)器有著靈活的配置和可管理性;傳統(tǒng)機(jī)架服務(wù)器可以提供大內(nèi)存節(jié)點(diǎn);云服務(wù)器兼具密度和性價比,還有專門針對GPU設(shè)計的機(jī)型;工作站用于高性能計算通常為視覺效果要求高,配置專業(yè)顯卡。
如上圖,除了IB交換機(jī)來自合作伙伴Mellanox之外,在Lustre存儲典型配置“Boulder”中戴爾能提供全部的服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備,包括MDS元數(shù)據(jù)服務(wù)器+MD3420雙控SAS陣列,OSS對象存儲服務(wù)器+ MD3460雙控高密度SAS陣列+MD3060e高密JBOD擴(kuò)展柜;還有管理節(jié)點(diǎn)、千兆/萬兆以太網(wǎng)交換機(jī)。
戴爾不僅是簡單地提供設(shè)備,在磁盤陣列RAID配置等方面都有具體的建議。比如連接到OSS的MD3460/MD3060e,其中60塊硬盤建議做成6組RAID,每組10塊盤配置為RAID6(8+2),這樣LUN(OST)可以達(dá)到比較理想的性能。在這里未配置熱備盤,應(yīng)該是HPC系統(tǒng)的可控性比OLTP等關(guān)鍵業(yè)務(wù)要高,在有硬盤故障Rebuild時可以酌情安排出停機(jī)時間,或者減少用戶對存儲的訪問。由于采用了RAID10(MDT元數(shù)據(jù)存儲) 和RAID 6 技術(shù),所以可以采用冷備磁盤的方式,來處理磁盤故障問題。
性能測試:吞吐量和元數(shù)據(jù)
上面是Boulder配置的IOzone性能測試結(jié)果,單一客戶端讀寫性能分別達(dá)到0.75GiB/s和0.63GiB/s,24客戶端時的最大聚合性能,讀寫分別達(dá)到10.04GiB/s和5.68GiB/s。用戶可以此對比自己的實(shí)際需求,戴爾能夠幫助給出適合您的配置建議。
MDtest元數(shù)據(jù)測試主要用于評估小文件較多的應(yīng)用場景。Boulder配置在單客戶端測試中,每秒文件創(chuàng)建操作500次,文件狀態(tài)(列表)2000次,文件刪除1800次;而到了240線程,每秒總文件創(chuàng)建達(dá)到15K,文件狀態(tài)(列表)400K;文件刪除性能在192線程時最高為100K操作每秒。
企業(yè)版Lustre:融合HPC和大數(shù)據(jù)
在2013年春季IDF期間,筆者曾簡單總結(jié)過Lustre的歷史:“Lustre項目從1999年起始,2003年成立CFS公司并發(fā)布1.0版本。2007年開始屬于Sun,并于2009年發(fā)布版本1.8。2010年,隨著Sun被Oracle收購而加入甲骨文,發(fā)布了2.0版本。同一年,Lustre團(tuán)隊?wèi)?yīng)該是從Oracle獨(dú)立出來,并成立了Whamcloud公司。Lustre建立OpenSFS和EOFS兩個開源社區(qū)。去年,Whamcloud被Intel收購,之后發(fā)布了2.3版。”(引用自:《Lustre:Exascale文件系統(tǒng)的前世今生》)
Intel在保持Lustre開源的同時,也推出了自己的企業(yè)版軟件(IEEL),上圖中的綠色和紅色方框里就是企業(yè)版才有的部分。其中包括生產(chǎn)級質(zhì)量的文件系統(tǒng)增強(qiáng);專用的Intel管理器;針對Apache Hadoop和Cloudera Hadoop的適配器能夠提供MapReduce訪問數(shù)據(jù)所需的HDFS接口;分級存儲管理支持,包括POSIX拷貝工具和強(qiáng)大的策略引擎;使用ZFS最大化數(shù)據(jù)保護(hù)(數(shù)據(jù)完整性和快照);針對Xeon Phi的客戶端及優(yōu)化;使用不同的存儲服務(wù)改進(jìn)小文件性能;24x7企業(yè)級支持、專業(yè)服務(wù)和培訓(xùn)等。
戴爾正是憑借著和Intel的緊密合作,支持在IEEL軟件的戴爾存儲上運(yùn)行Hadoop(相當(dāng)于Lustre文件系統(tǒng)代替了HDFS)。目前該方案已經(jīng)至少在兩所大學(xué)有成功案例,它主要的好處就是將HPC和Hadoop的數(shù)據(jù)融合到了一套存儲系統(tǒng)中。
綜上所述,戴爾不僅是一家數(shù)據(jù)中心硬件設(shè)備提供商,還擁有自己的軟件部門,并與眾多合作伙伴聯(lián)合提供各種行業(yè)應(yīng)用解決方案的咨詢等增值服務(wù)。