當(dāng)我們展望即將在本月底舉行的第七屆re:Invent大會(huì)時(shí),AWS持續(xù)為建立復(fù)雜AI生態(tài)系統(tǒng)而進(jìn)行的深入投資給我們留下了深刻的印象:
-針對(duì)AI工作負(fù)載優(yōu)化核心基礎(chǔ)設(shè)施即服務(wù)云:最初的AWS EC2計(jì)算服務(wù)現(xiàn)在已經(jīng)具有數(shù)十種實(shí)例類型,從通用到計(jì)算優(yōu)化、內(nèi)存優(yōu)化、GPU加速和FPGA。
-在AWS云中實(shí)施先進(jìn)的AI加速器硬件:AWS云提供了對(duì)最新GPU的按需使用,以支持機(jī)器學(xué)習(xí)和其他AI工作負(fù)載。EC2 P3實(shí)例提供最新的Nvidia Tesla V100 GPU,每個(gè)節(jié)點(diǎn)最多支持8個(gè)GPU。AWS稱,與其他任何云廠商的GPU實(shí)例相比,這種高密度配置在性價(jià)比方面提高了1.8到2倍,絕對(duì)性能提高了6倍。
-改善AI開(kāi)發(fā)抽象:在過(guò)去幾年中,AWS已經(jīng)轉(zhuǎn)向更高的抽象層,用于AI、ML和其他核心計(jì)算服務(wù)。所有這些功能再加上底層云數(shù)據(jù)庫(kù),現(xiàn)在都可以使用云原生API進(jìn)行容器化部署,作為容器編排器Kubernetes上的微服務(wù),以及作為AWS Lambda功能即服務(wù)的無(wú)服務(wù)器部署。這其中大多數(shù)功能都可以通過(guò)Gluon抽象層進(jìn)行編程,實(shí)現(xiàn)在AWS開(kāi)發(fā)的Apache MXNet、Microsoft Cognitive Toolkit和其他開(kāi)源數(shù)據(jù)科學(xué)工作平臺(tái)中,實(shí)現(xiàn)對(duì)最復(fù)雜的AI、ML和深度學(xué)習(xí)應(yīng)用的可視化開(kāi)發(fā)。
-先進(jìn)的AI DevOps工具鏈和庫(kù):每過(guò)一年,AWS都會(huì)深化其解決方案,以幫助企業(yè)開(kāi)發(fā)人員解決新的AI、ML和深度學(xué)習(xí)挑戰(zhàn)。2015年,AWS推出了基于云的ML服務(wù)。在re:Invent 2016大會(huì)上,AWS推出了一系列預(yù)訓(xùn)練模型,針對(duì)文本轉(zhuǎn)換為語(yǔ)音服務(wù)Amazon Polly、圖像分類和識(shí)別服務(wù)Amazon Rekognition、以及對(duì)話機(jī)器人Amazon Lex。當(dāng)時(shí)AWS還推出了深度學(xué)習(xí)AMI,這是預(yù)裝了各種深度學(xué)習(xí)框架的EC2實(shí)例。在re:Invent 2017大會(huì)上,AWS推出的Amazon SageMaker讓數(shù)據(jù)科學(xué)家和開(kāi)發(fā)人員能夠構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型,這是建立在早期旨在簡(jiǎn)化AI和機(jī)器學(xué)習(xí)的項(xiàng)目之上。這種完全托管的服務(wù)讓開(kāi)發(fā)人員能夠從他們的S3數(shù)據(jù)湖中提取數(shù)據(jù),利用預(yù)先優(yōu)化的算法庫(kù),大規(guī)模構(gòu)建和訓(xùn)練模型,通過(guò)ML驅(qū)動(dòng)的超參數(shù)優(yōu)化功能對(duì)其進(jìn)行優(yōu)化,并將它們實(shí)時(shí)部署到生產(chǎn)EC2云中實(shí)例。
-將AI推向邊緣用于移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備:在re:Invent 2017大會(huì)上,AWS曾發(fā)布了Greengrass的增強(qiáng)功能以實(shí)現(xiàn)更復(fù)雜的邊緣部署,將新的AWS Greengrass ML Inference直接部署到移動(dòng)設(shè)備和其他邊緣設(shè)備(例如亞馬遜Alexa),在這些設(shè)備上為本地推理提供支持,無(wú)論設(shè)備當(dāng)前是否連接到云。此外AWS推出了AWS IoT Analytics,這項(xiàng)新服務(wù)支持通過(guò)AWS QuickSight解決方案以及AWS SageMaker內(nèi)置的AI模型輕松分析物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)。AWS發(fā)布的AWS DeepLens,是一款完全可編程的攝像頭,讓開(kāi)發(fā)人員用來(lái)——配合SageMaker預(yù)建模型和代碼示例——構(gòu)建和訓(xùn)練視頻分析,以便在AWS云中進(jìn)行流式傳輸。
在re:Invent 2018大會(huì)前夕,Wikibon預(yù)計(jì)AWS將會(huì)專注于幾個(gè)在其公有中提高AI開(kāi)發(fā)者生產(chǎn)力的關(guān)鍵主題上:
- AI開(kāi)發(fā)自動(dòng)化- 推動(dòng)人工智能的民主化- 加速人工智能訪問(wèn)、開(kāi)發(fā)和運(yùn)營(yíng)- 通過(guò)更先進(jìn)的云數(shù)據(jù)平臺(tái)改進(jìn)AI可交付成果- 利用深層數(shù)據(jù)來(lái)改進(jìn)會(huì)話式AI應(yīng)用- 維持真正開(kāi)放的AI開(kāi)發(fā)生態(tài)系統(tǒng)
一年前,AWS副總裁Swami Sivasubramanian曾在re:Invent 2017訪談中提及了開(kāi)發(fā)者生態(tài)系統(tǒng)的必要性,以下是一些亮點(diǎn):
-AI開(kāi)發(fā)自動(dòng)化:“我們的目標(biāo)是真正地將機(jī)器學(xué)習(xí)功能交給所有開(kāi)發(fā)者和數(shù)據(jù)科學(xué)家。SageMaker就是這樣一個(gè)端到端的平臺(tái),讓人們以一鍵式方式構(gòu)建、點(diǎn)擊、訓(xùn)練和部署這些模型。SageMaker支持所有流行的深度學(xué)習(xí)框架,例如TensorFlow、MXNet或PyTorch。我們不僅幫助訓(xùn)練,而且還自動(dòng)調(diào)整我們?cè)谀氖褂脵C(jī)器學(xué)習(xí)來(lái)構(gòu)建這些東西。SageMaker非常強(qiáng)大。此外API服務(wù)作為一個(gè)新的抽象層,在這個(gè)層中應(yīng)用開(kāi)發(fā)者不需要了解任何有關(guān)機(jī)器學(xué)習(xí)的知識(shí),但他們想要轉(zhuǎn)錄他們的音頻,以便從語(yǔ)音轉(zhuǎn)換為文本,或者對(duì)這些內(nèi)容進(jìn)行翻譯,或者理解文本,或者分析視頻。“
-推動(dòng)人工智能的民主化:“當(dāng)我深入了解深度學(xué)習(xí)的時(shí)候,我意識(shí)到這些技術(shù)所具有的變革力。開(kāi)發(fā)者日常使用深度學(xué)習(xí)是很困難的,因?yàn)檫@些模型太難創(chuàng)建、太難訓(xùn)練。這就是為什么我們實(shí)際上將它視為一種多層次策略,以迎合專業(yè)從業(yè)者和數(shù)據(jù)科學(xué)家。對(duì)他們來(lái)說(shuō),我們有SageMaker。對(duì)于那些不想了解機(jī)器學(xué)習(xí)的應(yīng)用開(kāi)發(fā)者,他們會(huì)說(shuō),‘我會(huì)給你一個(gè)音頻文件,為我轉(zhuǎn)錄一下’,或者‘我會(huì)給你文字,給我分析或翻譯一下。’對(duì)于他們來(lái)說(shuō),我們實(shí)際上提供了簡(jiǎn)單易用的API服務(wù),這樣他們就可以開(kāi)始工作,而不必了解什么是TensorFlow或PyTorch。”
-加速人工智能訪問(wèn)、開(kāi)發(fā)和運(yùn)營(yíng):“在Amazon,我們已經(jīng)使用機(jī)器學(xué)習(xí)有20年時(shí)間了。我們一直在推薦引擎使用機(jī)器學(xué)習(xí),在實(shí)現(xiàn)中心我們使用機(jī)器人來(lái)挑選包裹,還有Alexa和Amazon Go。我們聽(tīng)到人們說(shuō),像TensorFlow或PyTorch或MXNet這樣的框架很酷,但開(kāi)發(fā)人員很難利用它。我們并不介意用戶使用Caffe或TensorFlow。我們希望他們?cè)趶膭?chuàng)意到產(chǎn)品外殼的過(guò)程中取得成功。我們從開(kāi)發(fā)者那里了解到,這個(gè)過(guò)程需要6到18個(gè)月,而且不應(yīng)該這么困難。我們希望通過(guò)AWS所做的,為IT行業(yè)提供計(jì)算存儲(chǔ)和數(shù)據(jù)庫(kù)的功能。我們希望通過(guò)簡(jiǎn)化入門來(lái)為機(jī)器學(xué)習(xí)做出同樣的貢獻(xiàn)。”
-通過(guò)更先進(jìn)的云數(shù)據(jù)平臺(tái)改進(jìn)AI可交付成果:“進(jìn)入機(jī)器學(xué)習(xí)的數(shù)據(jù),將衡量訓(xùn)練效果的決定性因素。這就是數(shù)據(jù)科學(xué)家們一直在說(shuō)的存儲(chǔ)的廣度,以及對(duì)他們構(gòu)建高度精確模型來(lái)說(shuō)非常重要的數(shù)據(jù)庫(kù)和分析產(chǎn)品。當(dāng)你談?wù)摰牟粌H僅是數(shù)據(jù),實(shí)際上還有底層數(shù)據(jù)庫(kù)技術(shù)和存儲(chǔ)技術(shù)也是非常重要的。S3是目前最強(qiáng)大的數(shù)據(jù)存儲(chǔ)庫(kù),具有高度安全性、可靠性、可擴(kuò)展性和成本效益。”
-利用深層數(shù)據(jù)來(lái)改進(jìn)會(huì)話式AI應(yīng)用:“將[Lex]視為對(duì)我們數(shù)據(jù)預(yù)訓(xùn)練的自動(dòng)語(yǔ)音識(shí)別和自然語(yǔ)言理解。但是,當(dāng)你針對(duì)自己的聊天機(jī)器人或者語(yǔ)音應(yīng)用對(duì)其進(jìn)行自定義的時(shí)候,你實(shí)際上可以添加自己的一些意圖和內(nèi)容,并根據(jù)你的數(shù)據(jù)自定義底層深度學(xué)習(xí)模型。除了專門為你的數(shù)據(jù)進(jìn)行的調(diào)優(yōu)之外,你還可以利用我們已經(jīng)訓(xùn)練過(guò)的數(shù)據(jù)??傊粫?huì)變得越來(lái)越好。”
-維持真正開(kāi)放的AI開(kāi)發(fā)生態(tài)系統(tǒng):“AWS有數(shù)萬(wàn)家合作伙伴,直接來(lái)自ISV和SI。軟件行業(yè)是一個(gè)令人驚嘆的行業(yè),這不是一個(gè)贏家通吃的市場(chǎng)。例如,在文檔管理領(lǐng)域,即使我們有S3和WorkDocs,也不意味著Dropbox和Box就不會(huì)取得成功。不管是為初創(chuàng)公司還是我自己的團(tuán)隊(duì),AWS都提供了相同的基礎(chǔ)設(shè)施,即使我可能構(gòu)建了許多底層基礎(chǔ)設(shè)施[服務(wù)]。現(xiàn)在對(duì)于我的AI團(tuán)隊(duì)來(lái)說(shuō),就像是一個(gè)創(chuàng)業(yè)公司,除了我可能還在AWS大樓辦公,但否則我無(wú)法得到任何內(nèi)部API。API都是相同的,這是一個(gè)公平的競(jìng)爭(zhēng)環(huán)境。“