數(shù)據(jù)中心核心交換機(jī)業(yè)界動(dòng)態(tài)
核心交換機(jī)是數(shù)據(jù)中心網(wǎng)絡(luò)最為關(guān)鍵的節(jié)點(diǎn)。隨著云計(jì)算、虛擬化和大數(shù)據(jù)等趨勢(shì)逐漸走俏,數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)也出現(xiàn)新的變化。因?yàn)槠髽I(yè)需要不斷面對(duì)IT系統(tǒng)日益復(fù)雜、設(shè)備數(shù)量日益增多,數(shù)據(jù)大集中和計(jì)算能力走高的諸多挑戰(zhàn)。核心交換機(jī)面臨很大的數(shù)據(jù)交換壓力,由此也推動(dòng)了核心交換機(jī)技術(shù)在近幾年的跨越式發(fā)展,關(guān)于技術(shù)標(biāo)準(zhǔn)、性能、架構(gòu)、大二層網(wǎng)絡(luò)構(gòu)建、虛擬機(jī)網(wǎng)絡(luò)策略遷移、SDN的討論,更是呈現(xiàn)百家爭(zhēng)鳴的態(tài)勢(shì)。在這期間,萬(wàn)兆技術(shù)標(biāo)準(zhǔn)成為主流,40G、100G逐漸走向商用;Spine-Leaf架構(gòu)已經(jīng)贏得共識(shí);SDN、NFV還未塵埃落定。每年我們都能看到技術(shù)標(biāo)準(zhǔn)博弈的不斷演進(jìn),性能不斷超越的驚艷,數(shù)據(jù)中心網(wǎng)絡(luò)市場(chǎng)走向繁榮的步伐,以及各家戰(zhàn)略、策略和產(chǎn)品的角力。
從2008年開(kāi)始,業(yè)界主流的網(wǎng)絡(luò)設(shè)備供應(yīng)商“你爭(zhēng)我趕”的推出了自己的數(shù)據(jù)中心核心交換機(jī)產(chǎn)品。迄今為止,4家在數(shù)據(jù)中心網(wǎng)絡(luò)市場(chǎng)舉足輕重的供應(yīng)商,思科、華為、H3C和Arista先后推出了新一代數(shù)據(jù)中心核心交換機(jī)產(chǎn)品,分別是Nexus 7700系列、CloudEngine 12800系列、H3C S12500-X系列、Arista 7500E系列。與上一代各家的數(shù)據(jù)中心核心交換機(jī)產(chǎn)品,華為S9700、思科N7000、H3C S12500、ARISTA 7500相比較,這4大系列產(chǎn)品在硬件架構(gòu)、性能、功能等各方面都有了質(zhì)的飛躍,共同站在了目前核心交換機(jī)產(chǎn)品的最前端。同時(shí),數(shù)據(jù)中心網(wǎng)絡(luò)市場(chǎng)所醞釀的火藥味越來(lái)越濃,所涉及的話題,已不是局限于談?wù)勞厔?shì),聊聊技術(shù)標(biāo)準(zhǔn)那么簡(jiǎn)單,因?yàn)檎嬲龥Q定客戶選擇的,是技術(shù)、創(chuàng)新、質(zhì)量和服務(wù)等硬條件。
在各大企事業(yè)的招標(biāo)設(shè)備技術(shù)規(guī)格要求中,核心交換機(jī)的性能、通風(fēng)散熱、系統(tǒng)可擴(kuò)展性要求首當(dāng)其沖:
在性能要求方面,要求核心交換機(jī)能夠支持足夠大的交換容量,在業(yè)務(wù)槽位數(shù)、單板帶寬等方面也有具體的要求;
在通風(fēng)散熱方面,要求核心交換機(jī)遵循數(shù)據(jù)中心機(jī)房前進(jìn)風(fēng)、后出風(fēng)的嚴(yán)格散熱風(fēng)道建設(shè)規(guī)范,以保證在長(zhǎng)期高速運(yùn)行下的可靠性;
在系統(tǒng)可擴(kuò)展性方面要求核心交換機(jī)具有持續(xù)的帶寬升級(jí)能力以及相匹配的散熱方面的擴(kuò)展能力,從而保護(hù)其在數(shù)據(jù)中心方面的投資。
如果單從性能上看,思科、華為等四家的核心交換機(jī)似乎沒(méi)有太多的區(qū)別,不論在線卡、整體交換容量等方面都可以滿足客戶網(wǎng)絡(luò)建設(shè)的需求,甚至還可保證未來(lái)5-10年的擴(kuò)展性需求。但如果我們深入到產(chǎn)品內(nèi)部,看一看各家核心交換機(jī)內(nèi)部的實(shí)現(xiàn),就會(huì)發(fā)現(xiàn)各家在基礎(chǔ)架構(gòu)的散熱風(fēng)道、冷熱風(fēng)道隔離、帶寬擴(kuò)展性等實(shí)現(xiàn)方面存在細(xì)節(jié)上的不同,那么給用戶所帶來(lái)的價(jià)值也就不同。
正交架構(gòu)下的散熱通道設(shè)計(jì)理念
正交架構(gòu)已經(jīng)成為數(shù)據(jù)中心核心交換機(jī)設(shè)計(jì)的共識(shí),上述4大系列產(chǎn)品都不約而同的選擇了正交架構(gòu)。正交架構(gòu)可將背板高速鏈路走線長(zhǎng)度有效降低,以獲得更加理想的誤碼率,從而在性能方面有了很大的提升。
但正交架構(gòu)帶來(lái)性能優(yōu)勢(shì)的同時(shí),也帶來(lái)散熱設(shè)計(jì)的難度。因?yàn)樵谡患軜?gòu)中,線卡與網(wǎng)板垂直對(duì)插,整個(gè)機(jī)框通過(guò)背板被分隔成兩個(gè)獨(dú)立的空間,散熱時(shí)兩個(gè)空間需要絕對(duì)隔離,并都保持前進(jìn)后出的風(fēng)道,這對(duì)散熱設(shè)計(jì)帶來(lái)了挑戰(zhàn)。而交換機(jī)遵循數(shù)據(jù)中心機(jī)房的前進(jìn)風(fēng)、后出風(fēng)的散熱通道標(biāo)準(zhǔn)是國(guó)際數(shù)據(jù)中心通行做法,更是各大企事業(yè)標(biāo)書明確提到的指標(biāo)要求。如何實(shí)現(xiàn)在正交架構(gòu)下做到冷熱風(fēng)道隔離,并適配數(shù)據(jù)中心機(jī)房的前進(jìn)風(fēng)、后出風(fēng)的散熱通道的設(shè)計(jì),是對(duì)各家設(shè)備供應(yīng)商的基礎(chǔ)架構(gòu)設(shè)計(jì)能力的考驗(yàn)。
為了更好的落地正交基礎(chǔ)架構(gòu)的設(shè)計(jì)理念,這4大系列產(chǎn)品在實(shí)現(xiàn)細(xì)節(jié)和技術(shù)上都采用了不同的做法。主要包括三大類:1)直通風(fēng)前后風(fēng)道/級(jí)聯(lián)風(fēng)道解決方案,思科Nexus 7700系列和Arista 7500E系列采用這樣的做法;2)直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道,華為CloudEngine 12800系列所采用的專利方案;3)直通風(fēng)Z型散熱風(fēng)道/橫向散熱通道混合使用,H3C S12510-X和S12516-X分別采用了不同的散熱通道做法。接下來(lái)讓我們?cè)敿?xì)了解下4款系列產(chǎn)品,采用不同設(shè)計(jì)理念下的差異。
直通風(fēng)前后風(fēng)道/級(jí)聯(lián)風(fēng)道
Nexus7700系列是思科最新一代的數(shù)據(jù)中心核心交換機(jī)產(chǎn)品,采用正交架構(gòu)設(shè)計(jì),為了遵循嚴(yán)格的前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道,思科大膽的采用了直通風(fēng)/級(jí)聯(lián)風(fēng)道的散熱方案,即直接在線卡面板上開(kāi)孔進(jìn)風(fēng),在背板上打孔,風(fēng)流直接穿過(guò)背板到達(dá)網(wǎng)板,網(wǎng)板的面板上開(kāi)孔,風(fēng)扇框安裝在機(jī)箱的后面,進(jìn)行抽風(fēng)散熱。同時(shí),風(fēng)扇系統(tǒng)可根據(jù)設(shè)備溫度自動(dòng)調(diào)速,允許風(fēng)扇系統(tǒng)熱插拔。當(dāng)網(wǎng)板故障時(shí),要拔出風(fēng)扇框更換網(wǎng)板,但嚴(yán)格要求用戶在3分鐘內(nèi)更換完網(wǎng)板,以免風(fēng)扇停止散熱后造成系統(tǒng)掉電。而這樣的直通風(fēng)設(shè)計(jì),使得線卡散熱和網(wǎng)板的散熱風(fēng)道并未隔離,交換網(wǎng)板始終處于高溫工作狀態(tài),不得不面對(duì)級(jí)聯(lián)風(fēng)道熱積累效應(yīng)帶來(lái)的可靠性問(wèn)題。
Arista 7500E也采用了直通風(fēng)/級(jí)聯(lián)風(fēng)道的散熱方案,但設(shè)計(jì)上更加大膽,直接將風(fēng)扇集成在了交換網(wǎng)板上,而風(fēng)扇屬于機(jī)械容易損壞部件,如果風(fēng)扇出現(xiàn)故障需要更換,意味著交換網(wǎng)板也要隨之進(jìn)行更換,這樣的集成無(wú)疑將使用戶的后期維護(hù)成本大大提高。
直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道
華為CloudEngine 12800系列采用了直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道的解決方案,在風(fēng)道設(shè)計(jì)上擁有專利技術(shù)。將交換機(jī)的散熱區(qū)域分成了線卡區(qū)域和網(wǎng)板區(qū)域,線卡區(qū)域的散熱是面板進(jìn)風(fēng),后面出風(fēng);網(wǎng)板區(qū)域的散熱是機(jī)箱前面下部進(jìn)風(fēng),機(jī)箱后面上部分出風(fēng);兩個(gè)區(qū)域經(jīng)過(guò)背板嚴(yán)格的隔離,這樣形成了兩個(gè)完全獨(dú)立的前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道。嚴(yán)格遵循風(fēng)道設(shè)計(jì)的前提下,可有效規(guī)避風(fēng)道級(jí)聯(lián)所帶來(lái)的可靠性問(wèn)題。
直通風(fēng)Z型散熱風(fēng)道/橫向散熱通道混合
H3C在正交架構(gòu)的散熱風(fēng)道設(shè)計(jì)上,嘗試了兩種解決方案。H3C S12510-X采用了Z型散熱風(fēng)道,遵循前進(jìn)后出風(fēng)道和冷熱風(fēng)道分離原則,進(jìn)風(fēng)口集中在機(jī)箱下部,出風(fēng)口在機(jī)箱的后上部,線卡豎插,風(fēng)道從下到上問(wèn)題不大,但交換網(wǎng)板和主控板橫插,阻礙了風(fēng)道流向,因此需要在交換網(wǎng)板和主控板上兩邊開(kāi)孔形成風(fēng)道,這樣做會(huì)造成單板面積浪費(fèi),同時(shí)孔洞疊加形成的風(fēng)道會(huì)產(chǎn)生風(fēng)阻,導(dǎo)致散熱效率降低。思科也曾在其上一代的Nexus 7000系列產(chǎn)品中使用過(guò)Z型風(fēng)道設(shè)計(jì),但在Nexus 7700系列中并未沿用這一風(fēng)道設(shè)計(jì)思路。H3C S12516-X在散熱風(fēng)道設(shè)計(jì)上反其道而行,并未遵循目前主流的前進(jìn)風(fēng)、后出風(fēng)的通道設(shè)計(jì),而是采用了“復(fù)古”的橫向散熱通道,橫向散熱通道會(huì)帶來(lái)熱風(fēng)回流和走線空間不足的問(wèn)題,目前并不適用于數(shù)據(jù)中心的機(jī)房環(huán)境,值得商榷。
帶寬、散熱能力的可擴(kuò)展性
之所以大筆墨的詳述了4家廠商正交架構(gòu)下散熱風(fēng)道的設(shè)計(jì)思路,是因?yàn)檎患軜?gòu)代表了目前核心交換機(jī)基礎(chǔ)架構(gòu)的方向,基于正交架構(gòu)的散熱風(fēng)道設(shè)計(jì)、正交連接器的選擇決定了交換機(jī)單板的散熱和帶寬擴(kuò)展能力。這些不僅代表了廠家在核心交換機(jī)研發(fā)的技術(shù)領(lǐng)先性,更關(guān)乎用戶在未來(lái)的數(shù)據(jù)中心網(wǎng)絡(luò)整體的擴(kuò)展性、維護(hù)成本和系統(tǒng)可靠性。
連接器是核心交換機(jī)的基礎(chǔ)架構(gòu)部件,伴隨著產(chǎn)品的整個(gè)生命周期,因此連接器選擇至關(guān)重要。在具有正交架構(gòu)的交換機(jī)中,正交連接器決定了交換機(jī)的帶寬可擴(kuò)展性和單板兼容性,因?yàn)檎贿B接器決定高速鏈路能不能升級(jí)到更高速率的重要因素,目前這4款最前沿產(chǎn)品的正交連接器選擇分成了兩個(gè)方向。思科Nexus 7700系列和華為CloudEngine 12800系列都選擇了ATCS的Xcede正交連接器;H3C S12500-X系列和Arista 7500E系列都選擇了Molex的上一代Impact正交連接器。Xcede正交連接器是新一代的連接器,是面向25G高速鏈路設(shè)計(jì)的,在高速連接、串?dāng)_和連接密度等方面已經(jīng)考慮了更高速率的支持,所以可以應(yīng)用在演進(jìn)到更高速率的核心交換機(jī)上。
同時(shí),每槽位的散熱能力的高低決定了單板端口密度的高低,而這與散熱通道設(shè)計(jì)的領(lǐng)先性息息相關(guān)。最具優(yōu)勢(shì)的散熱風(fēng)道設(shè)計(jì),將直接影響交換機(jī)是否能支持48*40GE單板和48*100GE單板所帶來(lái)的千瓦功耗,單板的擴(kuò)展能力越高則需要首先考慮系統(tǒng)能否帶來(lái)更好的散熱設(shè)計(jì)。所以,就目前的散熱風(fēng)道設(shè)計(jì)而言,華為的直通風(fēng)前后風(fēng)道/區(qū)域獨(dú)立散熱風(fēng)道思路,對(duì)于單板散熱可擴(kuò)展性最具競(jìng)爭(zhēng)優(yōu)勢(shì)。
結(jié)語(yǔ):
正交架構(gòu),前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道設(shè)計(jì)標(biāo)準(zhǔn)已經(jīng)成為了數(shù)據(jù)中心核心交換機(jī)的標(biāo)準(zhǔn),而在技術(shù)的細(xì)節(jié)實(shí)現(xiàn)上,不同廠商各顯其能。作為數(shù)據(jù)中心基礎(chǔ)架構(gòu)的核心組件,它每一個(gè)細(xì)微的技術(shù)實(shí)現(xiàn)差異,也許就會(huì)給數(shù)據(jù)中心網(wǎng)絡(luò)的整體性能、未來(lái)的擴(kuò)展性、可靠性,甚至是業(yè)務(wù)實(shí)現(xiàn)帶來(lái)差異。所以在企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)中,將供應(yīng)商在硬件基礎(chǔ)架構(gòu)方面的技術(shù)積累、設(shè)計(jì)理念和用戶投資、運(yùn)維成本等方面的價(jià)值體現(xiàn)作為考量因素至關(guān)重要。