48V架構(gòu)在數(shù)據(jù)中心的崛起——記谷歌數(shù)據(jù)中心供電能效發(fā)展之路

責(zé)任編輯:editor007

作者:李典林 陳歷忠

2016-06-15 19:49:18

摘自:通信產(chǎn)業(yè)網(wǎng)

2012年:第一代48V供電架構(gòu),機(jī)柜級(jí)采用48V,但仍采用12V輸入的服務(wù)器主板,通過機(jī)柜內(nèi)DC DC降壓到12V,最后再進(jìn)一步降壓到CPU的POL節(jié)點(diǎn)

 

在2016年3月9號(hào)的OCP 2016峰會(huì)上,谷歌宣布加入了OCP聯(lián)盟,并貢獻(xiàn)了其48V整機(jī)柜解決方案,根據(jù)相關(guān)會(huì)議資料,筆者簡單整理了個(gè)相關(guān)資料供研究參考,由于水平有限,只是簡單推導(dǎo),僅供國內(nèi)同行學(xué)習(xí)研究用途。

谷歌高級(jí)副總裁Urs Holzle介紹了如下谷歌數(shù)據(jù)中心能效發(fā)展之路:

 

 

2003年:開始倡導(dǎo)采用高效率PSU電源;

2004年:正式落地了12V高效率PSU電源;

2005年:開始采用集裝箱來建設(shè)數(shù)據(jù)中心;

2006年:將鉛酸電池安裝到了服務(wù)器主板上,12V 板上UPS供電架構(gòu)落地;

2007年:規(guī)模建設(shè)倉儲(chǔ)式數(shù)據(jù)中心,并將UPS電池拿出服務(wù)器托盤;

2009年:舉辦了其高效數(shù)據(jù)中心行業(yè)峰會(huì);

2011年:舉辦了其歐洲數(shù)據(jù)中心能效峰會(huì);

2012年:第一代48V供電架構(gòu),機(jī)柜級(jí)采用48V,但仍采用12V輸入的服務(wù)器主板,通過機(jī)柜內(nèi)DC/DC降壓到12V,最后再進(jìn)一步降壓到CPU的POL節(jié)點(diǎn);

2013年:舉辦了綠色互聯(lián)網(wǎng)數(shù)據(jù)中心峰會(huì),并改進(jìn)到了第二代48V機(jī)柜和UPS,第二代48V機(jī)柜和第一代不一樣的地方是服務(wù)器主板直接支持48V,并直接從48V降壓到CPU的POL節(jié)點(diǎn),減少了12V中間轉(zhuǎn)換環(huán)節(jié),效率更高,成本更低;

2015年:第三代48V供電架構(gòu)采用鋰離子電池包,替換掉原來使用的鉛酸電池;

2016年:宣布和OCP合作,并貢獻(xiàn)了其48V整機(jī)柜架構(gòu)給OCP。

從前面的谷歌數(shù)據(jù)中心能效發(fā)展之路上看,谷歌在不斷優(yōu)化并精簡其數(shù)據(jù)中心的供電架構(gòu),從最早的定制高效率PSU電源,去掉機(jī)房級(jí)UPS,將UPS搬到服務(wù)器主板上,提升供電效率并減少機(jī)房級(jí)UPS投資及損耗;隨著服務(wù)器機(jī)柜功率不斷增加,以及進(jìn)一步降低能耗,谷歌轉(zhuǎn)而采用了48V供電架構(gòu),在這個(gè)方向變化過程中,中間還過度有12V中間轉(zhuǎn)換環(huán)節(jié)的階段,直到2013年才實(shí)現(xiàn)了從電網(wǎng)到48V再到CPU的極致精簡架構(gòu),去掉了機(jī)房級(jí)UPS,去掉了機(jī)柜級(jí)48V到12V的二次轉(zhuǎn)換,并在服務(wù)器主板級(jí)實(shí)現(xiàn)了48V到CPU的單級(jí)變換,最后在2015年最后將鉛酸電池替換成鋰電池,最終實(shí)現(xiàn)了最新的48V整機(jī)柜架構(gòu)。

下圖是在OCP峰會(huì)上google的48V機(jī)柜介紹資料

 

 

谷歌48V機(jī)柜的布局

谷歌這個(gè)半柜高度48V供電整機(jī)柜的幾個(gè)特點(diǎn):

1、采用48V供電POL架構(gòu)比起傳統(tǒng)的12V服務(wù)器架構(gòu)降低了30%以上的能耗,大大降低了全球云數(shù)據(jù)中心的能耗;

2、采用了定制的48V供電POL服務(wù)器,所有服務(wù)器供電均來自整機(jī)柜后側(cè)的48V母線排,采用48V母線也可以支撐未來單機(jī)柜功率密度增加到50KW以上;

3、將48V電源插框放到機(jī)柜頂部,將48V鋰電池房到了機(jī)柜底部,估計(jì)是擔(dān)心服務(wù)器溫度影響電池壽命;

4、采用了48V供電的TOR交換機(jī),由兩個(gè)較小的48V電源給交換機(jī)供電,其實(shí)可以不用單獨(dú)配置;

5、POL服務(wù)器采用了混搭的方式,部分可能為CPU節(jié)點(diǎn),GPU節(jié)點(diǎn),或者存儲(chǔ)節(jié)點(diǎn)等任何配置;

6、2U不到高度的PSU插框里邊有8個(gè)48V的插槽,安裝了6個(gè)PSU電源模塊,考慮5用1備以及UPS充電功率,參考行業(yè)典型的3KW高效率電源模塊,估計(jì)半機(jī)柜負(fù)荷大約在12到14KW的峰值功率,整個(gè)機(jī)柜的話兩套UPS的功率將翻倍。

7、48V的UPS電池也是模塊化設(shè)計(jì),可以根據(jù)IT功率以及備電時(shí)間來選擇需要的模塊電池?cái)?shù)量,上圖目視滿配可以支持多達(dá)10個(gè)電池包。

8、谷歌已經(jīng)大規(guī)模使用這個(gè)技術(shù)好幾年了,技術(shù)上非常成熟,效率很高,成本也得到很大降低。

 

 

谷歌貢獻(xiàn)給OCP的48V供電機(jī)柜

谷歌貢獻(xiàn)給OCP的48V機(jī)柜的幾個(gè)特點(diǎn):

1、21英寸的內(nèi)寬,可以支持各種類型的服務(wù)器,但可能在機(jī)柜深度方面比通用OCP的柜子更短,以便在數(shù)據(jù)中心內(nèi)可以安裝更多機(jī)柜列;

2、可以安裝在各種類型的數(shù)據(jù)中心內(nèi),滿足各種用戶和部署在全球各地的數(shù)據(jù)中心內(nèi)使用;

3、冷通道維護(hù),前面兩側(cè)可安裝網(wǎng)線,或者可選的48V直流PDU;

4、48V UPS插框安裝在機(jī)柜的中部,大約2U的高度為電源空間(不含電池),配置6個(gè)PSU模塊,如果采用3KW的典型48V電源模塊,則可以支撐最大15KW的機(jī)柜功率。

5、由于采用了機(jī)柜內(nèi)的UPS架構(gòu),機(jī)房級(jí)直接采用市電直供,由機(jī)柜頂部的母線排直接給整機(jī)柜供電,即插即用,供電架構(gòu)非常簡單和扁平,效率和成本較優(yōu)。

6、如果其他用戶的服務(wù)器仍然采用12V輸入的主板,那也可以通過在這個(gè)48V機(jī)柜內(nèi)增加一個(gè)48V轉(zhuǎn)12V的DCDC變換器來滿足原有12V輸入服務(wù)器。

7、目前谷歌已經(jīng)和facebook對(duì)這個(gè)新的機(jī)柜和48V UPS技術(shù)準(zhǔn)備一個(gè)新的規(guī)格提交給OCP審批,給行業(yè)增加更多的選擇。

前面簡單分析了該48V整機(jī)柜的特點(diǎn),該整機(jī)柜自帶48V鋰電池BBU,不再需要機(jī)房級(jí)的UPS,配電結(jié)構(gòu)非常精簡,可以大大減低投資和系統(tǒng)能耗,下面我們做個(gè)48V整機(jī)柜架構(gòu)和傳統(tǒng)UPS供電架構(gòu)的簡單能效對(duì)比。

采用傳統(tǒng)的UPS供電架構(gòu),每臺(tái)服務(wù)器自帶PSU電源的傳統(tǒng)系統(tǒng)如下圖,從電網(wǎng)到12V服務(wù)器主板,大約有22%的能耗被浪費(fèi)了,傳統(tǒng)UPS架構(gòu)下即便采用目前高效率的供電系統(tǒng),市電到服務(wù)器的12V主板也會(huì)有6.4%的能耗浪費(fèi)。

 

 

傳統(tǒng)UPS供電架構(gòu)下的供電能效

而采用谷歌推薦的48V整機(jī)柜供電架構(gòu),不再需要UPS和復(fù)雜變配電單元,市電直接給到整機(jī)柜來供電,市電到服務(wù)器主板的典型損耗為7%,目前業(yè)界領(lǐng)先水平可以控制在4%以內(nèi)的損耗。

 

 

傳統(tǒng)48V整機(jī)柜供電架構(gòu)下的供電能效

因此兩者對(duì)比下來,采用市電直供48V整機(jī)柜帶BBU電池包的供電架構(gòu)比采用傳統(tǒng)UPS帶12V PSU的機(jī)架式服務(wù)器供電架構(gòu),從電網(wǎng)到服務(wù)器主板典型的系統(tǒng)能節(jié)能量為15%。

我們?cè)倏捶?wù)器主板到CPU的供電路徑上,采用12V主板和48V主板能耗的對(duì)比,這里以數(shù)據(jù)中心所采用的典型Vicor公司產(chǎn)品為例來計(jì)算,分別比較機(jī)柜級(jí)PSU整流模塊效率、12V和48V方案在服務(wù)器主板上的傳輸損耗,以及12V或者48V到CPU、RAM等的降壓POL電源的綜合效率。從AC-DC電源的輸出端經(jīng)過連接器,傳輸路徑,再經(jīng)過轉(zhuǎn)換最后輸送到處理器。對(duì)整體效率來說,傳輸路徑上的損耗也不容忽視。下圖是從AC到CPU的全路徑狀況。

 

 

下圖為google在OCP峰會(huì)上發(fā)布的效率對(duì)比。特別指出,在采用48V的供電架構(gòu),路徑上的損耗將更進(jìn)一步減少。

 

 

從上表的參數(shù)我們可以計(jì)算得到,采用48V供電的總體損耗為7.9%,而采用12V傳統(tǒng)架構(gòu)的損耗為10.7%. 損耗減少超過30%。

Vicor的48V架構(gòu)稱為FPA(Factorized Power Architecture),由兩個(gè)部分構(gòu)成。前端為采用升降壓拓?fù)浣Y(jié)構(gòu)的預(yù)穩(wěn)壓模塊(PRM),提供穩(wěn)定的Vf母線電壓,輸出電壓會(huì)根據(jù)負(fù)載的變化快速響應(yīng)。后端為采用專利正弦幅值變換器(Sine amplitude converter)的電壓變壓模塊(VTM),將Vf母線電壓轉(zhuǎn)換到負(fù)載點(diǎn)電壓,其工作特性為理想變壓器,可以將能量存儲(chǔ)在高壓側(cè)電容,從而極大減少負(fù)載點(diǎn)的大電容。VTM采用零電壓、零電流的軟開關(guān)技術(shù),工作頻率高達(dá)2MHz以上,具有領(lǐng)先的功率密度,Intel實(shí)驗(yàn)室的測試表明,其噪聲比傳統(tǒng)的12V VR低一個(gè)數(shù)量級(jí),因此可以放置在非??拷麮PU的地方,進(jìn)一步減少電源輸出端到CPU電源引腳間的功率損耗。

 

 

采用AC-12V-1V的方案不管是PSU整流模塊的效率,還是服務(wù)器主板上的傳輸損耗,以及降壓POL電源的效率都低于采用AC-48V-1V的供電架構(gòu),采用12V母線架構(gòu)下12KW整機(jī)柜僅在傳輸損耗上就達(dá)到了440W,占了將近4%的能耗。12KW的機(jī)柜在12V輸出下電流高達(dá)1000A,因此即便1毫歐的傳輸阻抗都會(huì)帶來1KW的能耗(當(dāng)然也可以通過采用更大尺寸的銅排來降低傳輸阻抗,但會(huì)帶來更大的體積以及更高的成本),而同樣的負(fù)載功率下采用48V供電架構(gòu),電壓提升了4倍,電流降低為原來的四分之一,傳輸損耗得到很大降低。

下圖可以看到傳統(tǒng)的方案和Vicor FPA方案的一些簡單對(duì)比情況。

 

 

因此對(duì)于大功率的整機(jī)柜,如果仍采用12V的中間母線架構(gòu),會(huì)帶來很大的傳輸損耗,如果單機(jī)柜功率在8KW以內(nèi),損耗的問題還不太明顯,但如果機(jī)柜功率達(dá)到了12KW以上,這個(gè)傳輸損耗問題就會(huì)變得比較嚴(yán)重,而48V母線架構(gòu)可以支持單機(jī)柜功率高達(dá)30KW以上,具有很好的未來擴(kuò)展性并大大降低了傳輸損耗。

 

 

隨著高性能計(jì)算,以及GPU等應(yīng)用發(fā)展,未來的服務(wù)器功耗將不斷增加,如果單機(jī)柜功率在10KW以下,12V母線還能勉強(qiáng)應(yīng)對(duì),但隨著機(jī)柜功率的不斷增加,12V母線帶來的損耗,以及壓降將成為難以承受之重,因此未來機(jī)柜內(nèi)母線電壓一定會(huì)往48V方向發(fā)展,特別是在HPC等高性能計(jì)算場合。

隨著谷歌公司宣布加入OCP,并且將其48V貢獻(xiàn)給OCP的消息一經(jīng)發(fā)布,馬上有知名芯片廠商宣布對(duì)48V到POL負(fù)載點(diǎn)的支持,并且發(fā)布相應(yīng)的芯片。這一消息已經(jīng)極大促進(jìn)了48V產(chǎn)業(yè)鏈的生態(tài)完整,表明在數(shù)據(jù)中心供電架構(gòu)上在穩(wěn)步朝著48V的方向前進(jìn)。 我們已經(jīng)看到有國內(nèi)服務(wù)器廠商已經(jīng)推出了關(guān)于48V直流輸入的服務(wù)器驗(yàn)證機(jī),相信隨著谷歌加入OCP促進(jìn)這個(gè)產(chǎn)業(yè)生態(tài)的發(fā)展,將來會(huì)有越來越多的服務(wù)器及網(wǎng)絡(luò)設(shè)備等支持48V的整機(jī)柜生態(tài)。

最后,我們將有可能在數(shù)據(jù)通訊領(lǐng)域看到如下的電源發(fā)展趨勢。

 

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)