云時(shí)代數(shù)據(jù)中心對(duì)基礎(chǔ)設(shè)施的挑戰(zhàn)和需求

責(zé)任編輯:zsheng

2018-12-19 13:26:43

摘自:中關(guān)村在線(xiàn)

"云計(jì)算時(shí)代的到來(lái),以云服務(wù)商業(yè)模式為驅(qū)動(dòng),推動(dòng)云數(shù)據(jù)中心基礎(chǔ)設(shè)施持續(xù)變革。隨著云數(shù)據(jù)中心規(guī)模越來(lái)越大,單機(jī)柜功率密度越來(lái)越高,對(duì)可靠性和自動(dòng)化提出了更高的需求;為了能更快響應(yīng)客戶(hù)需求,邊緣型數(shù)據(jù)中心越來(lái)越多,需要基礎(chǔ)設(shè)施高密度集成、網(wǎng)絡(luò)化維護(hù)。云數(shù)據(jù)中心建設(shè),呼吁更節(jié)能、更可靠、更自動(dòng)化、智能化的運(yùn)維與管理。"--華為CloudBU全球云數(shù)據(jù)中心設(shè)計(jì)與技術(shù)總監(jiān)檀志恒

華為CloudBU全球云數(shù)據(jù)中心設(shè)計(jì)與技術(shù)總監(jiān)檀志恒在第四屆數(shù)據(jù)中心基礎(chǔ)設(shè)施峰會(huì)上發(fā)表了題為《云時(shí)代數(shù)據(jù)中心對(duì)基礎(chǔ)設(shè)施的挑戰(zhàn)和需求》的演講。

各位嘉賓,上午好!我今天和大家分享的題目是《云時(shí)代數(shù)據(jù)中心對(duì)基礎(chǔ)設(shè)施的需求和挑戰(zhàn)》,這個(gè)題目有點(diǎn)大,在開(kāi)始這個(gè)題目研討之前,我想和大家共同思考一個(gè)問(wèn)題,傳統(tǒng)數(shù)據(jù)中心和云數(shù)據(jù)中心的根本區(qū)別到底是什么?

傳統(tǒng)數(shù)據(jù)中心與云數(shù)據(jù)中心的根本區(qū)別在于商業(yè)模式的不同

我很贊同一種觀(guān)點(diǎn),這個(gè)觀(guān)點(diǎn)就是商業(yè)模式的不同,是傳統(tǒng)數(shù)據(jù)中心與云數(shù)據(jù)中心的根本區(qū)別。為什么這么說(shuō)呢?對(duì)于傳統(tǒng)數(shù)據(jù)中心我們通??偸钦J(rèn)為,在傳統(tǒng)數(shù)據(jù)中心里面我們是以數(shù)據(jù)中心的設(shè)備為主,從而相對(duì)割裂數(shù)據(jù)中心基礎(chǔ)設(shè)施與企業(yè)服務(wù)產(chǎn)品,那么快速發(fā)展的企業(yè)服務(wù),對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的要求,尤其是對(duì)交付的要求是很高的,我們傳統(tǒng)數(shù)據(jù)中心的這種以基礎(chǔ)設(shè)施為核心的或者說(shuō)為中心的這種理念,不能滿(mǎn)足快速發(fā)展的企業(yè)服務(wù)要求。

我們會(huì)看到,為了解決這種結(jié)構(gòu)性的矛盾,我們必須以轉(zhuǎn)變傳統(tǒng)數(shù)據(jù)中心的架構(gòu),我們必須以服務(wù)為導(dǎo)向,把這個(gè)傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施,以及我們所運(yùn)用的運(yùn)營(yíng)管理平臺(tái),以及服務(wù)產(chǎn)品,作為一個(gè)統(tǒng)一的服務(wù)產(chǎn)品,按時(shí)隨時(shí)隨地快速的進(jìn)行交付。所以我們?cè)茣r(shí)代數(shù)據(jù)中心的基礎(chǔ)設(shè)施的建設(shè),都必須以保證商業(yè)模式這種建設(shè)的成功為前提。我今天所研討的話(huà)題就以這個(gè)為核心來(lái)進(jìn)行展開(kāi)。

云時(shí)代數(shù)據(jù)中心架構(gòu)對(duì)基礎(chǔ)設(shè)施布局的影響:以多可用區(qū)為指導(dǎo),對(duì)數(shù)據(jù)中心進(jìn)行規(guī)劃

我們先介紹一下云數(shù)據(jù)中心基礎(chǔ)設(shè)施的布局的影響,首先我們看一下云的這種商業(yè)模式,低成本訴求驅(qū)動(dòng)數(shù)據(jù)中心向內(nèi)蒙、寧夏、貴州這些低成本區(qū)域進(jìn)行會(huì)聚,大型云數(shù)據(jù)中心的廠(chǎng)家前店后廠(chǎng)這種數(shù)據(jù)中心的部署模式逐步形成,云區(qū)域多可用區(qū)(AvailableZone)等概念被業(yè)界普遍接受并應(yīng)用。講這些內(nèi)容大家會(huì)有一些疑問(wèn),對(duì)我們數(shù)據(jù)中心的建設(shè)者或者規(guī)劃者有什么意義呢?作為云數(shù)據(jù)中心的管理者,我們?cè)谑袌?chǎng)或者我們?cè)诮?jīng)營(yíng)中遇到很多問(wèn)題,我知道今天有很多嘉賓來(lái)自于數(shù)據(jù)中心的規(guī)劃,包括政府部門(mén),實(shí)際上我們?cè)谑袌?chǎng)中應(yīng)該深刻的理解云這種商業(yè)模式對(duì)于我們數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)的影響。

比如說(shuō)多可用區(qū)這種概念被業(yè)界普遍的接受和實(shí)施,我們數(shù)據(jù)中心的規(guī)劃者和建設(shè)者,就應(yīng)該深刻的理解多AZ的概念,比如我們?cè)埔渴鹪诙郃Z的基礎(chǔ)上,在市場(chǎng)上我們進(jìn)行數(shù)據(jù)中心規(guī)劃的時(shí)候,就應(yīng)該以多AZ為指導(dǎo),比如說(shuō)我們?cè)诰嚯x和網(wǎng)絡(luò)時(shí)延要求上,我們有一定的要求,我們?cè)谑袌?chǎng)上會(huì)發(fā)現(xiàn)我們有很多的數(shù)據(jù)中心,但是這種結(jié)構(gòu)性的差異,比如說(shuō)我們?cè)诮ㄔO(shè)的時(shí)候,沒(méi)有考慮業(yè)務(wù)場(chǎng)景的具體的要求,我們的數(shù)據(jù)中心都是扎堆建設(shè)的,或者說(shuō)我們數(shù)據(jù)中心的規(guī)劃離得特別遠(yuǎn),滿(mǎn)足不了時(shí)延的要求,那么對(duì)于我們?cè)品?wù)的這種商業(yè)模式就不能夠進(jìn)行滿(mǎn)足。

從華為云在中國(guó)區(qū)域部署的架構(gòu)中,首先我們可以看到在核心層,我們?cè)跒跆m察布、在貴安有兩個(gè)大規(guī)模低成本的資源池,也就是我們前面提到的后廠(chǎng),對(duì)于時(shí)延要求比較敏感的客戶(hù),我們?cè)跂|南西北、華東、華北,就是北京區(qū)域、上海區(qū)域,以及華南、廣州和深圳,包括我們的西部區(qū)域,包括我們今天所在的成都以及貴陽(yáng),我們部署了二級(jí)核心起點(diǎn),我們還會(huì)結(jié)合客戶(hù)的需求,華為云在一些二三級(jí)城市部署了邊緣節(jié)點(diǎn)的數(shù)據(jù)中心。

講完了布局整個(gè)架構(gòu)的影響,我們看一下云這個(gè)產(chǎn)業(yè)在我們中國(guó)對(duì)于實(shí)際數(shù)據(jù)中心的落地到底是一個(gè)什么樣的影響。我們從最近的四年,應(yīng)該說(shuō)大概是從2013年或者2014年開(kāi)始,大型云數(shù)據(jù)中心在一類(lèi)地區(qū),剛才提到的內(nèi)蒙、寧夏以及貴安、貴陽(yáng)等地區(qū)密集布局,開(kāi)始落地。包含華為在內(nèi)的阿里巴巴、蘋(píng)果以及騰訊等公司這些云玩家已經(jīng)建設(shè)好或者是已經(jīng)開(kāi)始進(jìn)行布局?jǐn)?shù)據(jù)中心。

云時(shí)代刺激了超大型數(shù)據(jù)中心和邊緣性數(shù)據(jù)中心的需求

1、超大型數(shù)據(jù)中心的規(guī)模越來(lái)越大

講完布局方面的影響,我們看一下云數(shù)據(jù)中心對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施規(guī)模的影響。根據(jù)CISCO對(duì)超大型數(shù)據(jù)中心規(guī)模的統(tǒng)計(jì)和預(yù)測(cè),從2016年開(kāi)始到2021年超大型數(shù)據(jù)中心的年負(fù)荷增長(zhǎng)率達(dá)到13%,超大型數(shù)據(jù)中心的一些特點(diǎn),我這里簡(jiǎn)單的介紹一下,后面我會(huì)結(jié)合數(shù)據(jù)中心的規(guī)模給我們業(yè)界和行業(yè)的挑戰(zhàn)做一些講解。超大型數(shù)據(jù)中心除了服務(wù)器規(guī)模達(dá)到了10萬(wàn)臺(tái)或者幾十萬(wàn)臺(tái)這樣的規(guī)模以外,同樣它的功率密度越來(lái)越高,達(dá)到了8到15千瓦,甚至更高,那么我們?nèi)A為云數(shù)據(jù)中心有關(guān)AI或者其他的一些應(yīng)用的部署,單機(jī)柜功率密度有可能達(dá)到幾十萬(wàn)千瓦的水平。同樣數(shù)據(jù)中心的建筑面積以及網(wǎng)絡(luò)連接是越來(lái)越密集,對(duì)于安全的要求也是越來(lái)越高。

2、邊緣計(jì)算數(shù)據(jù)中心的部署需要更加集成化和快速化

超大型數(shù)據(jù)中心的規(guī)模越來(lái)越大,是不是代表小型數(shù)據(jù)中心就沒(méi)有未來(lái)?事實(shí)有可能是恰恰相反的。我們知道萬(wàn)物互聯(lián)浪潮的到來(lái),遠(yuǎn)程的云數(shù)據(jù)中心系統(tǒng)已經(jīng)滿(mǎn)足不了或者是解決不了這種需求,而邊緣計(jì)算是一個(gè)很好的解決方案,可以說(shuō)邊緣計(jì)算是小型數(shù)據(jù)中心的未來(lái),因?yàn)椴粌H僅對(duì)于我們個(gè)人,對(duì)于企業(yè)運(yùn)用客戶(hù)來(lái)講,比如說(shuō)我們自動(dòng)駕駛或者是無(wú)人駕駛汽車(chē),遠(yuǎn)程的辦公系統(tǒng),以及華為的體驗(yàn)店,這些應(yīng)用場(chǎng)景都要求數(shù)據(jù)中心基礎(chǔ)設(shè)施更加靠近數(shù)據(jù)源,這個(gè)時(shí)候才能滿(mǎn)足隨時(shí)快速的接入的要求。除了對(duì)于布局的要求以外,從小型數(shù)據(jù)中心的管理和部署方面來(lái)講,我們要求數(shù)據(jù)中心更加集成化,部署更加快速化,要求一鍵即成,快速部署,當(dāng)然對(duì)于我們小型數(shù)據(jù)中心由于廣泛的布局,同樣對(duì)基礎(chǔ)設(shè)施以及整個(gè)信息安全的管理提出的挑戰(zhàn),怎么通過(guò)遠(yuǎn)程智能化的管理來(lái)保證管理效率的提升,以及信息安全的保證,這個(gè)都是我們面臨的挑戰(zhàn)。

云時(shí)代數(shù)據(jù)中心基礎(chǔ)設(shè)施交付更加聚焦于

按需部署、彈性、去工程化、模塊化、標(biāo)準(zhǔn)化

講完規(guī)模,我們?cè)倏匆幌挛覀冊(cè)七@種商業(yè)模式下,我們對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的交付,同樣我們面臨的挑戰(zhàn)。由于我們業(yè)務(wù)的不確定性,給我們規(guī)劃造成了一定的挑戰(zhàn),我相信我們?cè)谧挠泻芏鄶?shù)據(jù)中心的建設(shè)者,當(dāng)我們規(guī)劃的過(guò)于激進(jìn),我們超前規(guī)劃的時(shí)候,我們就會(huì)造成大量的提前投入,當(dāng)我們規(guī)劃太少的時(shí)候,我們就滿(mǎn)足不了業(yè)務(wù)的需求,由于數(shù)據(jù)中心是一個(gè)重資產(chǎn)的投入,我們要嚴(yán)格控制現(xiàn)金流,同樣我們前面講到了由于我們現(xiàn)在數(shù)據(jù)中心結(jié)構(gòu)供給上面臨的一些問(wèn)題,對(duì)于數(shù)據(jù)中心的機(jī)房資源,尤其是對(duì)于我們?cè)茢?shù)據(jù)中心的需求者,比如我們?cè)谑袌?chǎng)找數(shù)據(jù)中心資源的時(shí)候,發(fā)現(xiàn)數(shù)據(jù)中心租賃的資源是很短缺的,也就是一種結(jié)構(gòu)性的短缺,雖然我們的規(guī)模現(xiàn)在越來(lái)越大,但是能夠滿(mǎn)足我們需求的數(shù)據(jù)中心這種基礎(chǔ)設(shè)施有可能還是相對(duì)比較少的。

我們就要求數(shù)據(jù)中心基礎(chǔ)設(shè)施的交付要根據(jù)我們的業(yè)務(wù)按需、彈性、快速,能夠去工程化、模塊化、標(biāo)準(zhǔn)化,對(duì)業(yè)界一些好的應(yīng)用或者好的理念,比如說(shuō)在FACEBOOK提出了RDDC概念,亞馬遜提出了JITDC的概念,華為提出FusionDC的概念,所有這種交付的方式,都是為了滿(mǎn)足我們?cè)七@種產(chǎn)業(yè)或者這種商業(yè)模式的需求。

云時(shí)代數(shù)據(jù)中心對(duì)基礎(chǔ)設(shè)施架構(gòu)、設(shè)備的需求

1、直接蒸發(fā)or間接蒸發(fā)冷卻的技術(shù)?

我們前面講到了數(shù)據(jù)中心基礎(chǔ)設(shè)施的部署,包括規(guī)模和架構(gòu),那么對(duì)于我們實(shí)際的數(shù)據(jù)中心各個(gè)系統(tǒng)里面的架構(gòu)到底有什么影響呢?前面我介紹到數(shù)據(jù)中心在我國(guó)逐步向內(nèi)蒙的烏蘭察布、貴陽(yáng)以及寧夏的區(qū)域進(jìn)行匯集,這些區(qū)域我們前面講到一級(jí)數(shù)據(jù)中心的建設(shè)區(qū)域,自然新風(fēng)直接冷卻方案,包括直接蒸發(fā)、間接蒸發(fā)冷卻的技術(shù),在這個(gè)數(shù)據(jù)中心得以應(yīng)用和實(shí)施。設(shè)計(jì)PUE可達(dá)1.1-1.2,我昨天到的西安,其實(shí)對(duì)于我們西北地區(qū),我們有很多的數(shù)據(jù)中心建設(shè),其實(shí)剛才講到的直接新風(fēng)含直接蒸發(fā)冷卻技術(shù)、間接蒸發(fā)冷卻技術(shù),在我們西北地區(qū)有廣闊的前景,我昨天到西安以后有點(diǎn)遺憾,下來(lái)就是有很?chē)?yán)重的霧霾,為什么我覺(jué)得有點(diǎn)遺憾呢?如果大家仔細(xì)研究業(yè)界,尤其在在美國(guó)在數(shù)據(jù)中心產(chǎn)業(yè)目前空調(diào)冷卻的解決方案來(lái)看,直接蒸發(fā)冷卻技術(shù)是在目前包括亞馬遜、微軟、FACEBOOK大型云玩家里面是最科學(xué)、商業(yè)模式最成功的技術(shù)解決方案?,F(xiàn)在不管是西北地區(qū)還是華北地區(qū),我們的霧霾很?chē)?yán)重,我們就要轉(zhuǎn)向間接蒸發(fā)冷卻方案。

2、未來(lái)需要采用板極液冷的制冷模式來(lái)解決高密度服務(wù)器的應(yīng)用

前面介紹了空調(diào)直接新風(fēng)冷卻技術(shù),下來(lái)我們講一下由于我們AI以及EI等運(yùn)用場(chǎng)景對(duì)于GPU、CPU以及TUP這方面的應(yīng)用,傳統(tǒng)的風(fēng)介質(zhì)的冷卻,已經(jīng)不能滿(mǎn)足高密度,也就是我們核算TCO的時(shí)候,大于15千瓦的部署,已經(jīng)不能滿(mǎn)足這個(gè)要求,板極液冷、全液冷、浸沒(méi)式的液冷等數(shù)據(jù)中心空調(diào)方案正快速落地、推廣。對(duì)于華為來(lái)講,我們開(kāi)始部署剛才說(shuō)的在西北地區(qū)、在華北地區(qū)的烏蘭察布以及在西南地區(qū)的貴安、貴陽(yáng)等地區(qū),我們采用了直接新風(fēng)以及間接新風(fēng)的解決方案,未來(lái)我們會(huì)采用板極液冷的制冷模式來(lái)解決高密度服務(wù)器的應(yīng)用。

3、云數(shù)據(jù)中心需要更加彈性的供電架構(gòu)

我們講一下對(duì)于供電架構(gòu)以及供電設(shè)備的需求,我們對(duì)于傳統(tǒng)的數(shù)據(jù)中心,我們最多的用戶(hù)架構(gòu)是我們經(jīng)常說(shuō)的2N的架構(gòu),由于上層云技術(shù)的應(yīng)用、上層架構(gòu)的進(jìn)步,我們?cè)絹?lái)越多的供電架構(gòu)的出現(xiàn),包含我們的UPS,包括N+R等架構(gòu),這種架構(gòu)降低了整個(gè)數(shù)據(jù)中心TCO的成本,也就是我們?cè)谠茢?shù)據(jù)中心里面對(duì)供電架構(gòu)基礎(chǔ)設(shè)施的需求越來(lái)越有彈性,我們?cè)谧母魑桓鼞?yīng)該根據(jù)我們每個(gè)公司的商業(yè)模式來(lái)選擇不同的供電架構(gòu),根據(jù)我們的技術(shù)水平或者說(shuō)核算的TCO來(lái)選擇不同的供電架構(gòu)。我們一直在研究的分布式供電架構(gòu),隨著電池技術(shù)的發(fā)展,分布式供電架構(gòu),包括BatteryinRack、BatteryinServer也將得以實(shí)施。

4、AI加速運(yùn)維/運(yùn)營(yíng)管理的數(shù)字化、可視化、智能化

我們講了大型數(shù)據(jù)中心,講了千千萬(wàn)萬(wàn)個(gè)邊緣計(jì)算數(shù)據(jù)中心,這些數(shù)據(jù)中心我們都要對(duì)我們的運(yùn)維、管理提出挑戰(zhàn),我們分布全球的百萬(wàn)服務(wù)器手拉肩扛的管理模式已經(jīng)不能滿(mǎn)足這種需求,隨著ZiGbee等無(wú)線(xiàn)互聯(lián)的實(shí)施,我們?nèi)f物互聯(lián)的數(shù)字設(shè)備通過(guò)萬(wàn)物互聯(lián)管理。并隨著大數(shù)據(jù)、AI等技術(shù)得以應(yīng)用,實(shí)現(xiàn)基礎(chǔ)設(shè)施管理的自動(dòng)化、智能化。

控制DC規(guī)模,降低水電

資源壓力,保證行業(yè)可持續(xù)發(fā)展

我們對(duì)于基礎(chǔ)設(shè)施,也就是我們的供電,包括制冷到底又面臨著什么樣的挑戰(zhàn)?高效、綠色的數(shù)據(jù)中心是我們矢志不移的追求,我們不斷的追求PUEDC的同時(shí),同時(shí)要關(guān)注DC對(duì)水資源的消耗,2016年中國(guó)數(shù)據(jù)中心總耗電量超過(guò)1200億千瓦,這個(gè)數(shù)字超過(guò)了三峽大壩2016年全年的總發(fā)電量,我們傳統(tǒng)的數(shù)據(jù)中心,我們用的解決方案,大部分是用機(jī)械制冷+冷卻塔這種模式,水資源由于成本方面的考慮,大家都不是很重視,因?yàn)樗鼙阋?,?duì)于我們經(jīng)營(yíng)成本來(lái)講壓力不是很大,但是我想強(qiáng)調(diào)由于數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大,數(shù)據(jù)中心對(duì)水資源的消耗是一個(gè)特別大的挑戰(zhàn)。

我去美國(guó),包括和美國(guó)的同行進(jìn)行交流的時(shí)候,在美國(guó)已經(jīng)把數(shù)據(jù)中心的綠色或者高效,已經(jīng)把PUE和WUE作為聯(lián)合評(píng)價(jià)的指標(biāo),來(lái)評(píng)價(jià)數(shù)據(jù)中心的先進(jìn)性。目前國(guó)內(nèi)在我們行業(yè)標(biāo)準(zhǔn)里沒(méi)有一個(gè)WUE的要求,在一些企業(yè)標(biāo)準(zhǔn)里,我大概知道的有可能有一兩家提到了WUE的要求。比如說(shuō)我們?cè)趪?guó)內(nèi)有可能達(dá)到一個(gè)2.2升/千瓦時(shí)這樣一個(gè)水平,有可能這還是一個(gè)比較好的水平,但是在美國(guó)達(dá)到了什么樣的一個(gè)水平呢?比如在亞馬遜、在FACEBOOK的WUE達(dá)到了0.2升/千瓦時(shí),所以我們一定要注意我們對(duì)水資源這方面的消耗。為什么這樣說(shuō)呢?我們?cè)趯?shí)際數(shù)據(jù)中心的設(shè)計(jì)和建設(shè)的實(shí)踐中,我們就遇到了問(wèn)題,比如說(shuō)我們?cè)趧偛盘岬降膶幭?、在華北地區(qū)的內(nèi)蒙烏蘭察布等地區(qū),這些地區(qū)水資源都相對(duì)匱乏,當(dāng)我們大規(guī)模數(shù)據(jù)中心設(shè)計(jì)的時(shí)候,我們跟市政管理部門(mén)咨詢(xún)的時(shí)候,明確提出你們水資源的要求,我們的市政管網(wǎng)、我們市政水系統(tǒng)滿(mǎn)足不了你們的要求,尤其在一個(gè)區(qū)域內(nèi)大規(guī)模部署數(shù)據(jù)中心的時(shí)候,這個(gè)要求和挑戰(zhàn)是很大的。

隨著DC單體規(guī)模的不斷擴(kuò)大,我們?yōu)闇p少這個(gè)區(qū)域內(nèi)電力、水資源的壓力,我們應(yīng)該適當(dāng)?shù)目刂茊误wDC的規(guī)模,尤其是一個(gè)區(qū)域的數(shù)據(jù)中心的規(guī)模。在減少這個(gè)資源要求的同時(shí),從云服務(wù)這個(gè)角度來(lái)講,我們可以適當(dāng)控制DC的故障域,降低云業(yè)務(wù)的運(yùn)行風(fēng)險(xiǎn)。

在座的有很多來(lái)自政府部門(mén),以及數(shù)據(jù)中心的規(guī)劃和建設(shè)的公司,我提議作為政府部門(mén)要適當(dāng)?shù)囊龑?dǎo)數(shù)據(jù)中心的布局,控制數(shù)據(jù)中心的規(guī)模,從而減少我們對(duì)電力、水資源的壓力。另外我們數(shù)據(jù)中心的建設(shè)者也同樣要適當(dāng)?shù)目刂茢?shù)據(jù)中心的規(guī)模,不是數(shù)據(jù)中心越大越好,在國(guó)內(nèi)我們做宣傳的時(shí)候,我們要少宣傳多少數(shù)據(jù)中心的規(guī)模達(dá)到全球前幾名,我們要適當(dāng)控制數(shù)據(jù)中心的規(guī)模,從而保證這個(gè)行業(yè)可持續(xù)發(fā)展,并能夠適當(dāng)控制云服務(wù)的故障域。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)