按:作者系SenseTime(商湯科技)深度學(xué)習(xí)科學(xué)家周斌博士,中國(guó)首位HPC(High-Performance Computing,高性能計(jì)算)和GPU跨領(lǐng)域研發(fā)高級(jí)工程師,中科大客座研究員。2013年,周斌被NVIDIA授予了全球第12個(gè)CUDA Fellow 的稱號(hào),成為了中國(guó)唯一獲此稱號(hào)的學(xué)者,擁有此稱號(hào)的還有胡恩偉、青木孝之、Ross Walker、Jone Stone 等世界知名專家學(xué)者。
SenseTime 最近推出了超算平臺(tái)SenseBox,據(jù)稱,其存儲(chǔ)和計(jì)算能力可以讓深度學(xué)習(xí)項(xiàng)目獲得更快的訓(xùn)練時(shí)間和更好的訓(xùn)練數(shù)據(jù),從而培育出新一代的更強(qiáng)“大腦”。
如果有一天醒來(lái),發(fā)現(xiàn)自己成了上帝,(無(wú)所不能的感覺(jué)真好?。┠銜?huì)怎么樣?這樣的場(chǎng)景雖然只存在于科幻中,但是隨著深度學(xué)習(xí)所引領(lǐng)的人工智能技術(shù)的進(jìn)步,人類創(chuàng)造出強(qiáng)人工智能已經(jīng)成為了一個(gè)嚴(yán)肅的科研問(wèn)題。人類,乃至宇宙,可能是某個(gè)“上帝”所制造的程序代碼,就像羅伯特·J·索耶在《計(jì)算中的上帝(Calculating God)》所描述的那樣。在我們創(chuàng)造的人工智能體眼中,我們就是上帝。
上帝的計(jì)算機(jī)長(zhǎng)什么樣?
我們作為人工智能體的上帝,還是需要一臺(tái)計(jì)算機(jī)(請(qǐng)?jiān)徫要M隘的想象力,作為深度學(xué)習(xí)+的程序員,他的身邊永遠(yuǎn)都有幾臺(tái)計(jì)算機(jī))來(lái)運(yùn)行上帝的代碼——虛擬的宇宙和智能,這樣的計(jì)算機(jī)長(zhǎng)什么樣?
這是個(gè)很有意思的話題:上帝的計(jì)算機(jī)需要無(wú)窮快的速度,無(wú)窮大的存儲(chǔ),無(wú)窮智能的接口……幻想到此打住,歸根結(jié)底,我們雖然是上帝,但只是我們創(chuàng)造的智能體的上帝。回歸到現(xiàn)實(shí),為了創(chuàng)造容納智能體的計(jì)算機(jī),我們需要利用手邊的材料來(lái)搭建能夠用于進(jìn)行深度學(xué)習(xí)的超級(jí)計(jì)算機(jī)。
曾幾何時(shí),在我剛開(kāi)始深入研究這個(gè)領(lǐng)域的時(shí)候,超級(jí)計(jì)算機(jī)還是躲在深閨大院、處于廟堂之上,研究物理、化學(xué)、生物、數(shù)學(xué)、密碼、氣象等等高深莫測(cè)的科學(xué)(我都有所涉獵,很多問(wèn)題歸結(jié)為數(shù)學(xué)和計(jì)算)。現(xiàn)在,信號(hào)處理、圖形圖像、視頻、天氣預(yù)報(bào)、生物信息學(xué)、網(wǎng)絡(luò)搜索等等應(yīng)用領(lǐng)域都能發(fā)現(xiàn)超算平臺(tái)的身影:
在氣象領(lǐng)域,超算平臺(tái)可以顯著提升天氣預(yù)報(bào)和沙塵暴模擬的精確程度,這也是我在美國(guó)喬治梅森大學(xué)所做的研究。我國(guó)新一代全球與區(qū)域同化預(yù)報(bào)系統(tǒng)(Global—Regional Assimilation and Prediction Systems,簡(jiǎn)稱“GRAPES”)也是基于超算平臺(tái)的氣象項(xiàng)目,中國(guó)國(guó)家氣象局的天氣預(yù)報(bào)曾采用“GRAPES”系統(tǒng);
在醫(yī)療領(lǐng)域,實(shí)現(xiàn)醫(yī)學(xué)圖像的有效識(shí)別是目前計(jì)算機(jī)科學(xué)和醫(yī)學(xué)交叉領(lǐng)域研究的熱點(diǎn),在腫瘤圖像識(shí)別的相關(guān)研究領(lǐng)域,超算平臺(tái)的應(yīng)用能使GPU的識(shí)別速度和精度得到大幅提升,從而整體提升醫(yī)療服務(wù)質(zhì)量;
在軍事領(lǐng)域,超算平臺(tái)堪稱現(xiàn)代化國(guó)防建設(shè)的重要科技支柱,中國(guó)目前最先進(jìn)的中程空對(duì)空導(dǎo)彈“霹靂12”就應(yīng)用了相關(guān)技術(shù)。
以上種種進(jìn)步都離不開(kāi)平臺(tái)超算本身的發(fā)展、迭代,中國(guó)的超級(jí)計(jì)算機(jī)一直處于世界領(lǐng)先地位:中國(guó)“天河一號(hào)”超級(jí)計(jì)算機(jī)GPU系統(tǒng)研發(fā)時(shí),“天河一號(hào)”的運(yùn)算水平就曾排名世界第一;現(xiàn)在“天河二號(hào)”超級(jí)計(jì)算機(jī)系統(tǒng)更是連續(xù)五次位列世界超級(jí)計(jì)算機(jī)500強(qiáng)排行榜之首。上帝的計(jì)算機(jī)或許是個(gè)玩笑,但是作為智能體上帝的計(jì)算機(jī),很可能就誕生在現(xiàn)在的各種超算之中。
深度學(xué)習(xí)之超算平臺(tái)
如今,為了容納深度學(xué)習(xí)的超大規(guī)模計(jì)算需求,超級(jí)計(jì)算機(jī)已經(jīng)成為訓(xùn)練各種深度神經(jīng)網(wǎng)絡(luò)的利器。深度學(xué)習(xí)技術(shù)試圖通過(guò)大規(guī)模的神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)提供的海量訓(xùn)練集合,將大腦學(xué)習(xí)識(shí)別的過(guò)程加以抽象,從而獲得極高的識(shí)別準(zhǔn)確度,這些都帶來(lái)了極大的計(jì)算需求和吞吐需求。于是,這些以往高居廟堂的屠龍之技有了用武之地:GPU協(xié)處理器、高速InfiniBand網(wǎng)絡(luò)、RDMA、GPUDirect等成了利器,提供著高吞吐、低延遲、高性能的系統(tǒng)平臺(tái)。雖然離著無(wú)窮還有無(wú)窮,但是為分布式大規(guī)模的深度學(xué)習(xí)算法提供了極高的帶寬和極低的延遲,使通信的開(kāi)銷最小化,為訓(xùn)練各種深度網(wǎng)絡(luò)提供了強(qiáng)大的平臺(tái)。
谷歌、百度、Facebook、微軟等互聯(lián)網(wǎng)巨頭都在投入巨資研發(fā)深度學(xué)習(xí)系統(tǒng)和與之配套的深度學(xué)習(xí)平臺(tái)。其中,Google采用了超過(guò)1000個(gè)節(jié)點(diǎn)的CPU集群來(lái)進(jìn)行GoogleNet的計(jì)算;百度的Minwa則采用了36個(gè)服務(wù)器,每臺(tái)服務(wù)器配備4顆NVIDIA公司的Tesla K40m GPU加速處理器,互聯(lián)網(wǎng)絡(luò)采用FDR Infiniband (56Gb/s)。
我所在的SenseTime (商湯科技)采用了更為先進(jìn)的技術(shù)來(lái)搭建超算平臺(tái):聯(lián)合NVIDIA打造專注于做深度學(xué)習(xí)的服務(wù)器SenseBox,多節(jié)點(diǎn)相連,每臺(tái)服務(wù)器配備8顆NVIDIA Tesla K80加速計(jì)算卡,可支持EDR Infiniband( 100Gb/s) 超高速互聯(lián)網(wǎng)絡(luò),支持大規(guī)模擴(kuò)展的深度學(xué)習(xí)計(jì)算平臺(tái)Parrot等。
(有人會(huì)問(wèn):用這樣的設(shè)備玩游戲會(huì)不會(huì)很快?答案是:土豪~)
從超算到服務(wù),超算的未來(lái)已成雛形
在讀本科和研究生的時(shí)候,我參加過(guò)很多的機(jī)器人競(jìng)賽,大多都與遙感、圖像識(shí)別相關(guān),但在當(dāng)時(shí),我就能明顯地感受到神經(jīng)網(wǎng)絡(luò)訓(xùn)練的局限性,對(duì)于學(xué)生而言,成本、資源問(wèn)題堪稱科研路上的緊箍咒。
并不是所有人和團(tuán)隊(duì)都有能力搭建如此強(qiáng)大的計(jì)算機(jī)或建立復(fù)雜的深度神經(jīng)網(wǎng)絡(luò),但所有人都渴望擁有人工智能體的創(chuàng)造權(quán)。等硬件條件成熟,深度學(xué)習(xí)的研究者們可以大展拳腳了,或許某一天,你可以下單訂購(gòu)你個(gè)人專屬人工智能體,她知道你的愛(ài)好、理解你的行為:可以照顧生活、準(zhǔn)備飯菜、照看孩子、安排日程、同期翻譯……
當(dāng)然,現(xiàn)在的服務(wù)還需要你確認(rèn)特定的應(yīng)用領(lǐng)域,給出訓(xùn)練樣本和指標(biāo),深度學(xué)習(xí)平臺(tái)如同一所學(xué)校,它將托管模型,運(yùn)行培訓(xùn),給出學(xué)習(xí)成果??赡苓\(yùn)行于專用的深度學(xué)習(xí)云之上,各種應(yīng)用需求都可以通過(guò)高速的互聯(lián)網(wǎng)絡(luò)獲得基礎(chǔ)支撐。深度學(xué)習(xí)服務(wù),作為可以定制的專屬人工智能,將滲透到各個(gè)行業(yè)領(lǐng)域?;蛟S未來(lái)已經(jīng)到來(lái),我的目標(biāo)就是在未來(lái)把真正的智能推廣到每個(gè)人生活中。
強(qiáng)人工智能?遠(yuǎn)著呢
我們期望我們所創(chuàng)造的人工智能具有強(qiáng)大的智力但又忠心耿耿,但是包括霍金、Elon Musk等在內(nèi)的很多科學(xué)家,都表達(dá)了對(duì)強(qiáng)人工智能的恐懼。誠(chéng)然,具有自主意識(shí)的人工智能,可能不會(huì)甘愿接收人類的統(tǒng)治,進(jìn)而和人類產(chǎn)生沖突和矛盾。但現(xiàn)今大可不必?fù)?dān)憂,我們最優(yōu)秀的深度學(xué)習(xí)算法,也只是在某些特定領(lǐng)域和應(yīng)用超過(guò)人類,離形成意識(shí)具有強(qiáng)人工智能還有較遠(yuǎn)的距離。我們的服務(wù)平臺(tái)培訓(xùn)的智能模型,都是深入的服務(wù)特定的應(yīng)用,離著天網(wǎng)般智能爆炸的終極審判還有十萬(wàn)八千里。
如果說(shuō)“黑客帝國(guó)”所代表的科幻電影中描述人類將智能上傳到計(jì)算機(jī)是可能的,那么創(chuàng)造出這一平臺(tái)的,必然是超級(jí)計(jì)算機(jī)?,F(xiàn)在的深度神經(jīng)網(wǎng)絡(luò),是向終極智能探索的一小步,卻可能是從0到1的積累,智能爆炸的奇點(diǎn),很可能在不久的將來(lái)出現(xiàn)。深度學(xué)習(xí)的探索和研究,推動(dòng)了智慧的進(jìn)步,而終極的智能,則可能成為未來(lái)超級(jí)人類的母體。