今天來(lái)挖一挖:分布式融合存儲(chǔ)正在革誰(shuí)的命?

責(zé)任編輯:editor007

作者:阿明

2015-05-11 21:08:03

摘自:搜狐

5月,是一個(gè)特別的月份,阿明已知的有關(guān)存儲(chǔ)的大型發(fā)布活動(dòng)就涉及好幾個(gè)廠商。前段時(shí)間,有一個(gè)一體機(jī)國(guó)產(chǎn)廠商曾經(jīng)干敗了數(shù)據(jù)庫(kù)一體機(jī)大佬,采用的創(chuàng)新架構(gòu)就是分布式融合存儲(chǔ)。

5月,是一個(gè)特別的月份,阿明已知的有關(guān)存儲(chǔ)的大型發(fā)布活動(dòng)就涉及好幾個(gè)廠商。5月5日,當(dāng)華為與EMC在高端存儲(chǔ)領(lǐng)域進(jìn)行了一場(chǎng)前所未有的撕逼大戰(zhàn),華為這場(chǎng)“就是要治各種不服”的高端存儲(chǔ)宣言引發(fā)了存儲(chǔ)業(yè)界的熱論,之后,世界似乎也沒(méi)有改變,因?yàn)镋MC依然還是EMC,華為還是華為。

但是,令業(yè)界意想不到的是,有一種比高端存儲(chǔ)更有實(shí)際意義的方式正在悄然興起,并悄悄地為用戶的存儲(chǔ)應(yīng)用帶來(lái)新的革命。

事實(shí)上,一直以來(lái),存儲(chǔ)這個(gè)行業(yè)似乎都始終保持著它獨(dú)有的活力與青春,活力在于技術(shù)的革新,青春在于分分合合的更替。

大家都知道高端存儲(chǔ)之所以牛掰,在于其高性能、高可靠、高可用等特點(diǎn),但價(jià)格也高啊。如何將這種高大上的高端存儲(chǔ)以一種創(chuàng)新的方式來(lái)替代,一直是許多用戶面臨的挑戰(zhàn)也是最大的渴望。

用戶永遠(yuǎn)都是現(xiàn)實(shí)主義者,便宜又好的存儲(chǔ)沒(méi)人不喜歡。用戶需求所在,就是用戶痛點(diǎn)所在。于是,業(yè)界有人提出了超融合的概念,也有人很早提出了分布式存儲(chǔ)的概念,然而這兩種方式還是不能滿足用戶對(duì)存儲(chǔ)的擴(kuò)展性、可用性、可靠性與價(jià)格之間的平衡。

就在這個(gè)當(dāng)頭,有人設(shè)想將Hyper-Converged超融合與Scale-out存儲(chǔ)架構(gòu)相結(jié)合,沒(méi)有想到這樣的設(shè)想很快變成了現(xiàn)實(shí)。一種創(chuàng)新的模式已經(jīng)誕生,阿明暫且稱呼它為分布式融合存儲(chǔ)。但這種創(chuàng)新存儲(chǔ)引發(fā)了業(yè)界的許多爭(zhēng)議,有人說(shuō)這種方式?jīng)]有傳統(tǒng)集中存儲(chǔ)那樣更利于企業(yè)級(jí)用戶管理,有人說(shuō)這樣的方式更利于提高存儲(chǔ)效能……實(shí)屬不易的是,就在大家眾說(shuō)紛紜之下,分布式融合存儲(chǔ)打破廠商限制的僵局,已經(jīng)找到了政府、電信運(yùn)營(yíng)商、醫(yī)療、教育等多個(gè)領(lǐng)域用戶的成功應(yīng)用。

那么,為什么分布式融合存儲(chǔ)能夠如此快地獲得許多成功應(yīng)用?它正在革誰(shuí)的命呢?

閃存真的在加速“去中心化”嗎?

不管你承認(rèn)與否,存儲(chǔ)領(lǐng)域一切似乎照常,一切又都在變化。因?yàn)榇鎯?chǔ)創(chuàng)新不斷,技術(shù)更新不斷,變化不斷,但唯一照常不變的就是最大化地提高存儲(chǔ)效率與價(jià)值。

近些年來(lái),用戶追求存儲(chǔ)速度與性能是前所未有的,隨著閃存這種新介質(zhì)的誕生,確實(shí)帶給了許多企業(yè)級(jí)用戶的福音。我們可以從閃存卡、SSD盤(pán)、全閃存陣列與混合陣列的逐漸鋪開(kāi)得到驗(yàn)證,閃存以一種前所未有的革新速度正在改變著存儲(chǔ)行業(yè)的格局。

閃存存儲(chǔ)介質(zhì)變化引發(fā)了一場(chǎng)存儲(chǔ)更新,成為不爭(zhēng)的事實(shí)。

實(shí)際上,在閃存領(lǐng)域應(yīng)用最為廣泛的就是閃存卡和SSD盤(pán),閃存也加速了分布式應(yīng)用的推進(jìn),為什么這么說(shuō)呢?大家都清楚最早應(yīng)用在互聯(lián)網(wǎng)領(lǐng)域的分布式架構(gòu),以其靈活擴(kuò)展、價(jià)格可選、性能優(yōu)越、可控可用的特點(diǎn)備受企業(yè)級(jí)用戶的關(guān)注,但是要將分布式架構(gòu)特別是分布式存儲(chǔ)應(yīng)用到企業(yè)級(jí)用戶領(lǐng)域,雖然不難,但也不容易。

隨著x86成為企業(yè)級(jí)用戶行業(yè)的新主流,由x86架構(gòu)帶來(lái)的分布式部署成為一種大趨勢(shì),但是在分布式部署過(guò)程中,用戶依然面臨存儲(chǔ)性能提升的問(wèn)題。用戶不可能再回去采用高大上的高端存儲(chǔ),那么如何在分布式存儲(chǔ)方案中實(shí)現(xiàn)性能的提升呢?

最簡(jiǎn)單最快捷的方式就是應(yīng)用閃存,包括閃存卡和SSD盤(pán),特別是閃存卡與服務(wù)器的結(jié)合,一方面滿足了用戶對(duì)于存儲(chǔ)性能的需求,另一方面也滿足了用戶對(duì)于x86靈活的分布式擴(kuò)展。在閃存這種快速提升服務(wù)器性能的應(yīng)用帶動(dòng)下,必然也加快了用戶“去中心化”的發(fā)展。由此,閃存與服務(wù)器有效結(jié)合下,不僅很快提升了存儲(chǔ)性能,也擴(kuò)大了用戶對(duì)于分布式存儲(chǔ)的應(yīng)用前景。

也因?yàn)檫@股勢(shì)力最初來(lái)自互聯(lián)網(wǎng)領(lǐng)域用戶去中心化的應(yīng)用,因而閃存卡也最先在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用開(kāi)來(lái)。但是,當(dāng)“去IOE”這樣的思路從阿里誕生以來(lái),就逐漸將這種“去中心化”的影響,從互聯(lián)網(wǎng)擴(kuò)展到了企業(yè)級(jí)用戶領(lǐng)域,為此“去中心化”、“去IOE”也就成為了焦點(diǎn)。其間,分布式成為了實(shí)現(xiàn)“去中心化”打破原廠限制的最佳途徑,可是又必須結(jié)合企業(yè)級(jí)用戶自身的關(guān)鍵業(yè)務(wù)應(yīng)用的特殊性,那么就必然需要一種新的創(chuàng)新與改變。

分布式融合存儲(chǔ)能否“挑大梁”?

談到“去中心化”,我們可能會(huì)想到傳統(tǒng)的統(tǒng)一存儲(chǔ),它雖然能夠?qū)崿F(xiàn)設(shè)備的整合,但犧牲了性能和效率,對(duì)于x86成為用戶主流選擇的趨勢(shì)下,需要一種更新的架構(gòu)來(lái)改變這一切。

之前,阿明的好朋友、業(yè)界資深存儲(chǔ)專家董唯元認(rèn)為,在存儲(chǔ)技術(shù)領(lǐng)域,以及其它分布式、虛擬化、軟件定義等技術(shù)領(lǐng)域中,已經(jīng)存在從“分”到“合”的總體趨勢(shì)。當(dāng)然這種融合不是消滅新技術(shù),而是縱向整合系統(tǒng)的軟硬件功能層次,同時(shí)增加橫向擴(kuò)展聯(lián)通能力,藉此令系統(tǒng)基礎(chǔ)架構(gòu)保持豐富內(nèi)涵的同時(shí),極大簡(jiǎn)化建設(shè)交付和使用維護(hù)的復(fù)雜程度,最終目的還是為用戶業(yè)務(wù)邏輯騰出更大空間,而不是聽(tīng)?wèi){本該靜默的基礎(chǔ)架構(gòu)喧賓奪主。

那么,基于董唯元的思路,就必須創(chuàng)新一個(gè)新的方式,可以更好互聯(lián),可以充分利用閃存性能,并且必須基于x86計(jì)算架構(gòu),采用分布式存儲(chǔ)方式,可以通過(guò)軟硬件配合緊密耦合的計(jì)算和存儲(chǔ)資源池化,并提供高性能數(shù)據(jù)庫(kù)訪問(wèn)。這種方式的誕生勢(shì)必會(huì)改變現(xiàn)有傳統(tǒng)的IOE在用戶中的地位,當(dāng)然,這種方式的實(shí)現(xiàn),最先去掉的應(yīng)該是E的高端存儲(chǔ)。

似乎在前段時(shí)間,阿明看到有企業(yè)級(jí)用戶包括某些運(yùn)營(yíng)商用戶開(kāi)始采用這種方式,在很大程度上做到使用分布式融合存儲(chǔ)來(lái)替換了高端存儲(chǔ)的工作。既然可以實(shí)現(xiàn),并且有了成功案例,那么我們不妨來(lái)挖挖這個(gè)方面的情況。

超融合給scale-out分布式存儲(chǔ)帶來(lái)了什么?

前段時(shí)間,有一個(gè)一體機(jī)國(guó)產(chǎn)廠商曾經(jīng)干敗了數(shù)據(jù)庫(kù)一體機(jī)大佬,采用的創(chuàng)新架構(gòu)就是分布式融合存儲(chǔ)。一旦超融合與scale-out分布式存儲(chǔ)有機(jī)結(jié)合起來(lái),對(duì)于用戶的需求滿足也是前所未有的,一種性能與價(jià)格兼顧、一種擴(kuò)展與可靠兼顧、一種可用與可控兼顧的解決方案必然贏得更多的市場(chǎng)回應(yīng)。

這里阿明不得不提一下來(lái)自天璣數(shù)據(jù)的數(shù)據(jù)庫(kù)一體機(jī)產(chǎn)品PBData。它的最大特點(diǎn)在于高性能X86服務(wù)器與高速I(mǎi)nfiniband互聯(lián)技術(shù)以及閃存技術(shù)的高度融合,通過(guò)軟硬件配合形成緊密耦合的計(jì)算和存儲(chǔ)資源池化的高性能數(shù)據(jù)庫(kù)云平臺(tái),具備分布式存儲(chǔ)的擴(kuò)展優(yōu)勢(shì),也具備高端存儲(chǔ)的性能特點(diǎn)。從近幾次用戶現(xiàn)場(chǎng)測(cè)試情況來(lái)看,這是一個(gè)可以落地的、在不改變?cè)袘?yīng)用的前提下實(shí)現(xiàn)UNIX平臺(tái)向X86平臺(tái)業(yè)務(wù)平滑遷移的有效解決方案之一。并且,PBData是國(guó)產(chǎn)化X86產(chǎn)品,從性價(jià)比以及技術(shù)自主可控方面都具備較大的優(yōu)勢(shì)。

不過(guò),分布式融合要達(dá)到用戶對(duì)于高端存儲(chǔ)的需求效果,就不得不突出高可用。當(dāng)然,高可用不是隨便說(shuō)說(shuō)而已,在某運(yùn)營(yíng)商的測(cè)試結(jié)果中,足以說(shuō)明PBData數(shù)據(jù)庫(kù)一體機(jī)所具備的技術(shù)優(yōu)勢(shì)是其他友商現(xiàn)有產(chǎn)品現(xiàn)階段所難以具備或本就沒(méi)有的,比如PBData一體機(jī)的所有節(jié)點(diǎn)均為冗余設(shè)計(jì),不會(huì)因?yàn)閱斡脖P(pán)故障、單個(gè)計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)故障、單臺(tái)交換機(jī)故障導(dǎo)致業(yè)務(wù)停頓或者數(shù)據(jù)丟失,能夠滿足企業(yè)級(jí)環(huán)境下的高可用需求。

PBData架構(gòu)設(shè)計(jì)可以滿足在數(shù)據(jù)庫(kù)場(chǎng)景下的大吞吐、高并發(fā)以及低時(shí)延的性能要求。首先需要指出的是其Cache機(jī)制,PBData通過(guò)SSD磁盤(pán)作為存儲(chǔ)的smart cache,每個(gè)節(jié)點(diǎn)可以配置12個(gè) 或 20個(gè)SSD盤(pán)。

對(duì)于OLTP系統(tǒng),命中率要求在90%以上。Cache命中率非常關(guān)鍵,在業(yè)務(wù)數(shù)據(jù)無(wú)熱度時(shí)延時(shí)較達(dá)30ms,IOPS較低不足8000,是傳統(tǒng)存儲(chǔ)的1/3。在預(yù)熱后命中率達(dá)90%以上后,只有不到1ms的延時(shí),IOPS高達(dá)7W以上,是傳統(tǒng)存儲(chǔ)的3倍以上。

針對(duì)OLAP系統(tǒng),強(qiáng)調(diào)大并發(fā)的場(chǎng)景下的存儲(chǔ)帶寬。而PBData融合架構(gòu)中采用了互聯(lián)機(jī)制,要知道InfiniBand本身?yè)碛懈咄掏碌奶匦?,可以把分布式存?chǔ)集群的高并發(fā)能力提升到極致。不僅如此,因?yàn)槿诤霞軜?gòu)的節(jié)點(diǎn)還融合了計(jì)算與存儲(chǔ),使交互與處理在最大限度上保留在節(jié)點(diǎn)內(nèi)完成,無(wú)需通過(guò)網(wǎng)絡(luò)傳輸,自然也提高了處理效率。

特別需要說(shuō)一下互聯(lián)機(jī)制,它不僅通過(guò)HCA卡和高速I(mǎi)nfiniband交換機(jī)進(jìn)行互聯(lián),具有高吞吐,其主流卡達(dá)到40Gb/S,適應(yīng)OLAP高并發(fā)場(chǎng)景。通過(guò)RDMA協(xié)議等實(shí)現(xiàn)的信息交互,延時(shí)短,釋放CPU負(fù)荷,降低延遲,用于優(yōu)化OLTP場(chǎng)景。

其次就是存儲(chǔ)冗余機(jī)制,PBData( Oracle)一體機(jī)通過(guò)ASM來(lái)實(shí)現(xiàn)存儲(chǔ)冗余,在計(jì)算節(jié)點(diǎn),OS指標(biāo)中寫(xiě)的IOPS和吞吐為有效IOPS和吞吐的2倍。對(duì)磁盤(pán)失敗引起的問(wèn)題,通過(guò)ASM層面進(jìn)行處理。

為此,我們基本明了PBData數(shù)據(jù)庫(kù)一體機(jī)的技術(shù)架構(gòu),由于PBData采用SAS磁盤(pán)和SSD磁盤(pán)混合的存儲(chǔ),同時(shí)兼容閃存卡,并使用了Infiniband的互聯(lián)機(jī)制。對(duì)于高吞吐MBPS,主要取決于帶寬和磁盤(pán)的吞吐。對(duì)于高IOPS,則取決于smart cache的命中率。為此, 基于企業(yè)級(jí)用戶不同的業(yè)務(wù)場(chǎng)景特點(diǎn),PBData需要進(jìn)行優(yōu)化配置,這樣可以帶來(lái)用戶實(shí)際部署與應(yīng)用的更好結(jié)果,達(dá)到用戶在高性能、低延遲、高可用和自主可控的完美目標(biāo)。

不僅如此,PBData也對(duì)產(chǎn)品做了細(xì)致規(guī)劃,分為全冗余全閃存、重點(diǎn)優(yōu)化OLTP的E系列;同構(gòu)節(jié)點(diǎn)便捷擴(kuò)展、重點(diǎn)優(yōu)化OLAP的H系列;節(jié)點(diǎn)分工資源獨(dú)立、OLTP/OLAP混合負(fù)載的V系列。每個(gè)系列針對(duì)用戶的需求也細(xì)分出不同的型號(hào),有針對(duì)性的面對(duì)用戶不同規(guī)模和場(chǎng)景的需求,很大程度上可以滿足更大范偉企業(yè)級(jí)用戶應(yīng)用更細(xì)分的需求。

分布式存儲(chǔ)為什么不能單打獨(dú)斗?

分布式融合存儲(chǔ)正在革誰(shuí)的命?相信大家都明了了,但閃存在其中的價(jià)值也體現(xiàn)了出來(lái),不過(guò)這種架構(gòu)不是一個(gè)單一的方式,既然強(qiáng)調(diào)融合,因此分布式融合存儲(chǔ)必須基于高性能X86服務(wù)器,并且借助高速I(mǎi)nfiniband互聯(lián)技術(shù)和閃存技術(shù),才能發(fā)揮出真本事,從而可以實(shí)現(xiàn)高性能數(shù)據(jù)庫(kù)云平臺(tái)的功能。

分布式存儲(chǔ)為什么不能單打獨(dú)斗,答案自然見(jiàn)分曉。

同時(shí),因?yàn)榉植际饺诤洗鎯?chǔ)也可以更好地實(shí)現(xiàn)“去中心化”,徹底打破原創(chuàng)限制,所以,未來(lái)它必然可以為用戶提供更加靈活高效、利于擴(kuò)展的存儲(chǔ)解決之道。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)