對于諸如 HPE 和 Dell 等傳統(tǒng)硬件提供商, 這種情況則預(yù)示其客戶群體變窄了，也意味著這些客戶將具有更高的技術(shù)洞察力并密切關(guān)注著技術(shù)趨勢。HPE 和戴爾將會發(fā)現(xiàn)，他們面向大規(guī)模數(shù)據(jù)中心客戶的銷售，將被一些沒有名頭的白箱供應(yīng)商替代，后者可以滿足客戶的所需。顯然，一臺服務(wù)器配置已經(jīng)不再包打天下了。開放計算，將日益成為降低成本和提高效率的重要途徑。

圖1顯示，到2020年超大規(guī)模數(shù)據(jù)中心的預(yù)期增長規(guī)模, 以及預(yù)期駐留在這些數(shù)據(jù)中心的服務(wù)器的百分比。到 2020年, 市面售出的服務(wù)器中預(yù)計將有47%被賣給了超大規(guī)模數(shù)據(jù)中心客戶。

圖1 資料來源: Synergy Research研究機構(gòu)發(fā)布的思科全球云2015–2020指數(shù)。

新的網(wǎng)絡(luò)拓撲為超大規(guī)模數(shù)據(jù)中心通信量帶來更高的帶寬。Facebook 已經(jīng)開放了其基于商品的交換機設(shè)計規(guī)范, 并向世界展示了SDN與網(wǎng)絡(luò)功能虛擬化的諸多優(yōu)勢。

對于超大規(guī)模數(shù)據(jù)中心運營商來說, 在電力交付方面的創(chuàng)新以及新的冷卻方法增加其設(shè)施中的機柜功率密度, 同時提高了整個基礎(chǔ)設(shè)施的效能，產(chǎn)生極低的 PUE值。

什么是超大規(guī)模數(shù)據(jù)中心?

如今，超大規(guī)模數(shù)據(jù)中心已是威震八方，實際上它起源于上世紀八九十年代的互聯(lián)網(wǎng)熱潮。

微軟因MS-DOS的火爆而成功蛻變成如今身價900億美元的科技巨頭, 其業(yè)務(wù)也從軟件套裝發(fā)展到 SaaS (Office 365) 與PaaS (Azure)，這背后離不開其全球數(shù)據(jù)中心的布局;

1994成立的亞馬遜公司則是從一家網(wǎng)上書店起家，如今成為身價逾1700億美元的電子商務(wù)巨鱷, 同時也是世界上最大的云服務(wù)提供商;

Facebook 是全球最大的基于社交媒體發(fā)展而來的企業(yè), 在全球擁有眾多的大型數(shù)據(jù)中心。阿里巴巴則是中國本土的電商，對標美國亞馬遜, 它正在擴大其數(shù)據(jù)中心的版圖，并已走出了國界;

谷歌則起源于上世紀90年代的一個研究項目, 并迅速上升成為最大的互聯(lián)網(wǎng)搜索提供商，該公司也同樣依賴于分布在全球各地的海量數(shù)據(jù)中心，以滿足所有人在進行網(wǎng)絡(luò)搜索時對快速性能的需求。

與此同時，行業(yè)還有另外一些超大規(guī)模數(shù)據(jù)中心占有者，實現(xiàn)了快速增長，包括蘋果、騰訊、百度和EBay。

大多數(shù)超大規(guī)模數(shù)據(jù)中心構(gòu)建者都擁有自己的基礎(chǔ)設(shè)施。最初由HPE、Dell EMC和思科生產(chǎn)的硬件支撐的超大規(guī)模數(shù)據(jù)中心運營商，正逐漸轉(zhuǎn)向中國大陸和臺灣地區(qū)的原始設(shè)備制造商，諸如廣達、英華、緯穎科技、富士康、英業(yè)達、超微電腦與浪潮等，以尋求更為低廉的成本，更有針對性開放計算和網(wǎng)絡(luò)解決方案。

功率密度和冷卻系統(tǒng)對超大規(guī)模設(shè)計的影響

在過去的200年中，數(shù)據(jù)中心行業(yè)的機柜功率密度與計算、存儲密度相當。如今，單一機柜中出現(xiàn)了越來越多的服務(wù)器和硬盤，同時采用的是橫向擴展方式而不是擴展方式。一個典型的IT機柜的能耗曾是1-3千瓦，而現(xiàn)在機柜內(nèi)常見的負載為20-40千瓦。美國國家可再生能源實驗室則宣稱，30千瓦的機柜如今已是十分普及。

據(jù)谷歌公司負責(zé)全球基礎(chǔ)設(shè)施業(yè)務(wù)的Joe Kava透露，谷歌在2015年使用了5.7太瓦時的能源?？ㄍ哒f：“數(shù)據(jù)中心的能耗占去了大半，這也是谷歌緣何能成為云計算園區(qū)可再生能源的頭號買家。”

基于英特爾、AMD、Nvidia和Arm等巨頭最新芯片技術(shù)的新服務(wù)器，每秒可提供前所未有的高運算速度和每瓦運作次數(shù)。與此同時，大多數(shù)市場中的數(shù)據(jù)中心地產(chǎn)成本持續(xù)上漲，導(dǎo)致運營商尋求更高的IT機柜，試圖更有效地利用空間。這樣一來，一排排滿是IT設(shè)備的高大機架，不可避免地產(chǎn)生了散熱問題。數(shù)據(jù)中心架構(gòu)師必須盡早選擇空氣或水作為冷卻介質(zhì)。一些設(shè)施則同時部署兩種方案。

高效的空氣冷卻系統(tǒng)需要遵守各種設(shè)計原則：

交替設(shè)備的方向，來創(chuàng)建天然冷通道或熱通道。

在空機柜空間中使用盲板，以確保冷空氣不會泄漏到熱通道中。

采用熱通道或冷通道遏制系統(tǒng)。

精心設(shè)計的設(shè)施中可實現(xiàn)空氣的自然對流——冷空氣下沉到地面，暖空氣升到天花板。因此，對冷通道采用高架冷空氣服務(wù)，并在機柜背面提升天花板或煙囪的高度，以達到在設(shè)備中對流的效果。

絕熱冷卻依靠通過體積膨脹引起的氣壓變化來減少熱量的過程。絕熱過程已被用于數(shù)據(jù)中心，以促進利用水和電的“自由冷卻”方法。

當機柜功率和熱密度超過以合理速度流動空氣的冷卻能力(高達幾百CFM)時，液體冷卻方式就派上了用場。液冷有多種形式：冷卻門、冷板、直接噴霧冷卻到芯片上等。

“在高性能計算領(lǐng)域，一切都將轉(zhuǎn)向液冷，”Eurotech技術(shù)總監(jiān)Paul Arts說道，“在我們的設(shè)想中，這是達到百萬兆級的唯一途徑。我們認為這才是新一代高性能計算的開始，潛力無限。如今只是在革命的最開始。”

最終，制冷系統(tǒng)的決策將取決于數(shù)據(jù)中心將運行的參數(shù)：硬件更換/修理的頻率、可用技工的數(shù)量、可維修時間的長短、所需的電能效率水平等。

驅(qū)動未來需求

許多論文都記錄了數(shù)據(jù)中心行業(yè)在21世紀初日益增長的電力需求。假如當初摩爾定律和服務(wù)器虛擬化沒有影響數(shù)據(jù)中心行業(yè)的發(fā)展，電力總需求的增長可能會超出美國總產(chǎn)能的10%。所幸IT行業(yè)身先士卒，率先開啟了節(jié)能減排，使IT系統(tǒng)變得更加節(jié)能。英特爾和AMD限制了每個服務(wù)器芯片(CPU)的功耗，而伴隨著每代CPU的產(chǎn)生，廠商們又煞費苦心，一方面保持了現(xiàn)有包絡(luò)功率，另一方面又改進了每個周期的指令，并減少了每條指令的功率。

圖3.資料來源：美國能源部

展望未來的話，許多超大規(guī)模數(shù)據(jù)中心運營商正致力于為其設(shè)施提供可再生能源。首先，通過購買可再生能源證書(RECs)，并采用補償手段(從當?shù)毓檬聵I(yè)購買水力發(fā)電等綠色能源)，許多超大規(guī)模數(shù)據(jù)中心如今都已采用燃料電池或太陽能板上現(xiàn)場生成的能源。例如，蘋果和Facebook已經(jīng)有多地的數(shù)據(jù)中心依靠太陽能板運行。微軟在懷俄明州擁有沼氣工廠，從Pilot Hill Wind購買風(fēng)力發(fā)電;并在全球許多設(shè)施生成太陽能。亞馬遜在德克薩斯州建立了一個253兆瓦的風(fēng)力發(fā)電場，而谷歌從2017年起，讓所有數(shù)據(jù)中心都用上可再生能源。“我們是全球最大的可再生能源的企業(yè)級買家，”Google技術(shù)基礎(chǔ)設(shè)施高級副總裁Joe Kava說。

至于究竟哪種類型的電力基礎(chǔ)設(shè)施最適合超大規(guī)模數(shù)據(jù)中心，整個IT行業(yè)眾說紛紜。此前Facebook選擇的是480V/277V交流電源的機柜以及IT負載12V直流電源的機柜。在最近對開放計算的貢獻中, Google 建議 48V DC 為服務(wù)器供電，直接轉(zhuǎn)換點負載電源48V，滿足主板需要運行 CPU, 內(nèi)存等組建所需的電壓與電流。在 Google 的實踐中, 從電源插座到機架的電源是 480/277V AC (或400 V /230 V AC), 電源架上將交流電源轉(zhuǎn)換為直流電源的功率托架上有三相整流器。微軟則采用了480/277V的機柜電源和277V 服務(wù)器。

對于那些試圖通過發(fā)電設(shè)備運行數(shù)據(jù)中心的公司來說, 現(xiàn)場生產(chǎn)直流電源并傳輸?shù)綑C架上是很有意義的。在這種情況下, 將 380V dc 帶到機架上, 并將直流-直流轉(zhuǎn)換器運行到48V 是一種選擇?；蛘?，它甚至可以將48V 帶到機架上, 這取決于電源的距離。

每個數(shù)據(jù)中心都是為了實現(xiàn)功能性、時延性、運行時間、成本和價值目標而構(gòu)建的，這些目標與電源傳輸基礎(chǔ)設(shè)施密切相關(guān)，而電源傳輸基礎(chǔ)設(shè)施將很大程度上影響到數(shù)據(jù)中心運行的軟件棧的穩(wěn)健性和靈活性。未來的超大規(guī)模數(shù)據(jù)中心很可能會從虛擬機轉(zhuǎn)移到容器, 并提供 "無服務(wù)器" 計算模型。

關(guān)于交流與直流電源的爭論將繼續(xù), 而新的技術(shù), 如機架上的燃料電池將會越來越流行。未來，超大規(guī)模數(shù)據(jù)中心采用可再生能源，或?qū)⒊蔀闃I(yè)主和運營商的強制性要求。