超算入云

責(zé)任編輯:yliang

2016-07-18 15:02:49

摘自:品高云計(jì)算

引子:本文談?wù)摰氖侵袊惆l(fā)展近況,以及超算系統(tǒng)閑置和浪費(fèi)較大情況的解決之道。3、材料可科學(xué)科研領(lǐng)域:為高校提供集群資源用于計(jì)算原子、分子及團(tuán)簇等材料的結(jié)構(gòu)參數(shù)、狀態(tài)方程、力學(xué)性質(zhì)等。

引子:本文談?wù)摰氖侵袊惆l(fā)展近況,以及超算系統(tǒng)閑置和浪費(fèi)較大情況的解決之道。

最近又發(fā)生了一件讓國人特別驕傲的事情。那就是基于中國”芯“的超級(jí)計(jì)算機(jī)“神威太湖之光榮登全球之首,最新一期全球超級(jí)計(jì)算機(jī)500強(qiáng)中,來自中國的超級(jí)計(jì)算機(jī)也首次超過美國,達(dá)成了167臺(tái)這全球領(lǐng)先的位置。


 

中國“芯”終于夢成真,
是具有戰(zhàn)略意義的大事件

2015年年初,美國政府禁止其企業(yè)向中國出口與超級(jí)計(jì)算機(jī)相關(guān)的技術(shù),更是讓中國人意識(shí)到核心技術(shù)不能受制于人。”一年之后,“神威太湖之光”奪得全球超算冠軍,向世界正式宣告中國“芯”的到來。

新一期全球超級(jí)計(jì)算機(jī)500強(qiáng)榜單上月20日公布,使用中國自主芯片制造的“神威太湖之光”登上榜首,這是中國“芯”走上自主之路的里程碑式事件,意味著中國掌握了超算制造的主要核心技術(shù)。中國超級(jí)計(jì)算機(jī)擁有中國“芯”終于不再是夢想,而是成為了再真實(shí)不過的現(xiàn)實(shí)。超級(jí)計(jì)算機(jī)是國家科研的一個(gè)基礎(chǔ)工具,為解決經(jīng)濟(jì)、科技等領(lǐng)域一系列重大挑戰(zhàn)提供了重要手段,對(duì)提升綜合國力具有戰(zhàn)略意義。

為啥這么說呢?

因?yàn)槌?jí)計(jì)算機(jī)是科學(xué)家用來解決人類重要問題的工具。所謂超算,就是計(jì)算能力特別強(qiáng)的計(jì)算機(jī)。有效使用超級(jí)計(jì)算機(jī),可在更短時(shí)間內(nèi)完成重大研究。最典型的應(yīng)用場景是算天算地,比如生命科學(xué)、流體空氣力學(xué)、仿真、氣象、氣候、環(huán)境等等,還有一些國家級(jí)戰(zhàn)略領(lǐng)域:

比如說,應(yīng)用于情報(bào)機(jī)構(gòu)。

美國國家情報(bào)機(jī)構(gòu)的“棱鏡”計(jì)劃顯示,美國花巨資收集各國的隱私,其中包括普通民眾的海量信息。這意味著需要有巨大的信息處理能力。特別是反恐等情報(bào)具有時(shí)效性,需要從天文數(shù)字的信息里盡快篩選出有價(jià)值的情報(bào),這只能依靠超級(jí)計(jì)算機(jī)。

比如說,應(yīng)用在核武器安全。

在美國,加利福尼亞的利弗莫爾國家實(shí)驗(yàn)室、新墨西哥州的洛斯·阿拉莫斯國家實(shí)驗(yàn)室、圣地亞國家實(shí)驗(yàn)室、橡樹嶺國家實(shí)驗(yàn)室都參與了利用超級(jí)計(jì)算機(jī)維護(hù)美國核武庫安全的工作。由于美國大批核彈頭已經(jīng)接近服役年限,而囊中羞澀的五角大樓希望延長其服役周期,這就必須通過超級(jí)計(jì)算機(jī)模擬預(yù)測這些核武器何時(shí)會(huì)失效,哪個(gè)部件需要更換。

超算應(yīng)用范圍原地踏步走,殺雞焉用牛刀乎

作為戰(zhàn)略性計(jì)算資源自然要應(yīng)用在關(guān)鍵場合。但是,隨著超級(jí)計(jì)算機(jī)性能不斷提升,數(shù)量越來越多,能耗越來越大,而應(yīng)用范圍卻并沒有隨之變大,甚至幾乎在上面說到的少數(shù)科學(xué)和工程計(jì)算領(lǐng)域原地踏步走。

這就是超級(jí)計(jì)算機(jī)在高性能與通用性方面一直存在矛盾。

過去,在每秒10億次計(jì)算能力的時(shí)候,超級(jí)計(jì)算機(jī)主要是用于工程計(jì)算或者科學(xué)計(jì)算,但是到了百億億次計(jì)算能力時(shí),已經(jīng)很難有一個(gè)題目需要這么大的規(guī)模,傳統(tǒng)的科學(xué)計(jì)算領(lǐng)域已經(jīng)很難找到這樣的題目了。正如媒體曾報(bào)道的,曾經(jīng)多次蟬聯(lián)世界500強(qiáng)第一名的“天河二號(hào)”超級(jí)計(jì)算機(jī),利用率甚至只有40%。所以,超級(jí)計(jì)算機(jī)未來向何處發(fā)展是擺在我們面前最最重要的挑戰(zhàn)。

與相對(duì)萎縮的超算市場相反的是,在云計(jì)算、大數(shù)據(jù)應(yīng)用領(lǐng)域,對(duì)計(jì)算資源的渴求幾乎是無窮無盡。不管是百姓還是政府、企業(yè),都在從各式各樣的云應(yīng)用和大數(shù)據(jù)應(yīng)用中獲取計(jì)算和智慧的助力,這幾乎可以被視為人類社會(huì)向下一階段更智慧社會(huì)發(fā)展的必經(jīng)途徑。更何況基于人工神經(jīng)網(wǎng)絡(luò)技術(shù)的深度學(xué)習(xí)也是要基于海量計(jì)算資源,當(dāng)一個(gè)個(gè)能夠戰(zhàn)勝人類圍棋冠軍的“AlphaGo”繼下棋之后,相繼走入人類社會(huì),服務(wù)人們的生活、工作和生產(chǎn),將是一派怎樣場景。這一切的前提是,滿足那些位于高端計(jì)算和桌面計(jì)算之間的眾多對(duì)高性能計(jì)算有潛在需求的用戶的高性能用戶,他們將是超算世界最需要的中產(chǎn)階級(jí),以及超算應(yīng)用向通用化全面發(fā)展的希望所在。

軟件定義時(shí)代:
釋放超算能量,讓超算服務(wù)云計(jì)算,用云計(jì)算提供超算性能

大量被忽視的中間層(the missing middle of HPC)正在因?yàn)閷?duì)自身產(chǎn)業(yè)向互聯(lián)網(wǎng)+轉(zhuǎn)型的渴望,以及對(duì)云計(jì)算、大數(shù)據(jù)、深度學(xué)習(xí)所能帶來產(chǎn)業(yè)變革和商業(yè)價(jià)值的追求而擁抱超算。然而,缺乏超算人才、建設(shè)和維護(hù)成本高企,以及超算應(yīng)用的復(fù)雜度往往讓他們望而卻步。而云計(jì)算正是應(yīng)對(duì)這些挑戰(zhàn)的最佳途徑之一。

基于云計(jì)算理念構(gòu)建的高性能計(jì)算(HPC)服務(wù)和傳統(tǒng)的超算服務(wù)(如超級(jí)計(jì)算中心所提供的)將有著顯著的區(qū)別:面向的是更廣闊的用戶群體而不是少量的高端用戶。即HPC云應(yīng)該使得用戶無需任何的超算技術(shù)背景,他們可以在感知不到超算的情況下使用超算服務(wù)。這要求HPC云需要將并行任務(wù)、作業(yè)提交等超算技術(shù)細(xì)節(jié)對(duì)用戶完全透明。

云計(jì)算對(duì)超級(jí)計(jì)算中心等傳統(tǒng)超算服務(wù)者另外一個(gè)重要的意義是云計(jì)算的流行將使得用戶尤其是企業(yè)用戶更容易接受采購?fù)獠糠?wù)而不是自建系統(tǒng)來進(jìn)行高性能計(jì)算。這種觀念的改變對(duì)HPC云的影響甚至比技術(shù)更為重要和深遠(yuǎn)。

因此,在這個(gè)中國超算登峰造極,大量P級(jí)計(jì)算系統(tǒng)紛紛上線,但是并沒有找到足夠的用戶,商業(yè)模式不夠健全的當(dāng)下。如何解決較大程度的超算系統(tǒng)閑置和浪費(fèi),云計(jì)算提供了一個(gè)可行的應(yīng)對(duì)之道。

即基于云計(jì)算理念來構(gòu)建超級(jí)計(jì)算中心,除了滿足傳統(tǒng)的或現(xiàn)有的超算用戶需求外,更重要的是創(chuàng)造并吸引眾多新領(lǐng)域的用戶。由于國外現(xiàn)有的超算中心大多由研究機(jī)構(gòu)(如美國三大實(shí)驗(yàn)室、各國教育或科技部門等)興建,主要面向本機(jī)構(gòu)內(nèi)的科研用戶;而我國的超算中心主要由地方政府主導(dǎo),對(duì)工業(yè)和經(jīng)濟(jì)發(fā)展承載著重要的責(zé)任,并且共享和開放的程度更高,因此發(fā)展HPC云理論上我國有著得天獨(dú)厚的優(yōu)勢。

HPC in Cloud
intel與品高云的誠意之作,做普通高校用得起的超算

自2011年7月,品高云被推薦為intel云構(gòu)建規(guī)范參考架構(gòu),推選加入intel Cloud Builders組織認(rèn)證成員后,兩者就在云計(jì)算和高性能計(jì)算領(lǐng)域展開深入合作,并推出了“HPC in Cloud”應(yīng)用模式——它可以將高性能計(jì)算與云計(jì)算結(jié)合,利用云數(shù)據(jù)中心普通X86服務(wù)器構(gòu)建高性能計(jì)算集群,無需購買昂貴的高配設(shè)備,減輕了后期繁雜的運(yùn)維壓力,大大節(jié)省了成本投入。

據(jù)悉,在HPC in Cloud解決方案推出同年,該方案就在在海南大學(xué),并幫助后者實(shí)現(xiàn)了同時(shí)支撐教務(wù)應(yīng)用和HPC科研環(huán)境的海大教育云平臺(tái)。

海大云是海南大學(xué)2015年初建設(shè)上線運(yùn)營的校內(nèi)云平臺(tái),其建設(shè)方網(wǎng)教中心承擔(dān)著學(xué)校各類業(yè)務(wù)管理系統(tǒng)和公共服務(wù)平臺(tái)的運(yùn)維工作,需要利用云計(jì)算解決IT資源使用不均衡且無法彈性變化等運(yùn)維問題。同時(shí),海大日益高漲的科研HPC需求還使網(wǎng)教中心需要考慮到校內(nèi)高性能計(jì)算服務(wù)的提供。品高云的“HPC in Cloud”模式,讓科研人員可以通過海大云快速獲得計(jì)算資源,同時(shí)大大降低了使用門檻,助力海大科研創(chuàng)新。

除了海南大學(xué),此后,HPC in Cloud解決方案又在廣州大學(xué)等高校中推廣起來,并積累出不少適用高??蒲协h(huán)境的應(yīng)用場景:

1、數(shù)值計(jì)算領(lǐng)域科研應(yīng)用:為高校提供用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計(jì)算等科研環(huán)境;

2、大數(shù)據(jù)處理計(jì)算集群:為高校提供數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要MapReduce分布式計(jì)算集群環(huán)境;

3、材料可科學(xué)科研領(lǐng)域:為高校提供集群資源用于計(jì)算原子、分子及團(tuán)簇等材料的結(jié)構(gòu)參數(shù)、狀態(tài)方程、力學(xué)性質(zhì)等。

超算入云

值得一提的是,HPC in Cloud解決方案不僅可以利用云數(shù)據(jù)中心普通X86服務(wù)器構(gòu)建高性能計(jì)算集群,也可以將現(xiàn)有的超算資源并入云中提供給其他應(yīng)用使用。

這正是超算中心解決使用率問題的最佳解決方案之一。事實(shí)上,目前國內(nèi)已經(jīng)多個(gè)興建中的秉承云計(jì)算概念的超級(jí)計(jì)算中心,只要將概念變?yōu)槔砟?,并在?shí)際建設(shè)和未來的運(yùn)營過程中加以落實(shí),那它們將會(huì)是未來中國HPC云的中堅(jiān),并會(huì)在全球范圍內(nèi)成為典范。

預(yù)告一則與超算有關(guān)的活動(dòng)訊息

旨在推動(dòng)高性能計(jì)算實(shí)用化,促進(jìn)中國云計(jì)算、大數(shù)據(jù)、深度學(xué)習(xí)技術(shù)研究的2016第26屆廣東省“品高高校杯”軟件作品設(shè)計(jì)大賽正在啟動(dòng)中。

本次活動(dòng)由廣東省計(jì)算機(jī)學(xué)會(huì)主辦,品高軟件冠名,廣東外語外貿(mào)大學(xué)思科信息學(xué)院承辦,將于2016年10月29日(星期六)在廣東外語外貿(mào)大學(xué)(大學(xué)城校區(qū))舉行。

獲得報(bào)名細(xì)則,請(qǐng)“品高云計(jì)算”關(guān)注公眾號(hào),回復(fù)“品高杯”。


 

  

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)