什么？谷歌最近又有大動作？他們計劃加速機(jī)器人學(xué)習(xí)進(jìn)程，讓更多機(jī)器人通過分享它們的經(jīng)驗，獲取更多技能點？

是的！Google Brain team的Sergey Levine以及來自Alphabet的DeepMind和Google X 實驗室的高手們通力合作，在幾天前發(fā)了篇博文，說他們接下來要打造一個叫“多機(jī)器人通用技能學(xué)習(xí)”的機(jī)制。

眾所周知，指導(dǎo)機(jī)器人做一些日常生活中最基本的事情已經(jīng)困擾所有機(jī)器人學(xué)家?guī)资炅恕榱私鉀Q這個問題，谷歌科學(xué)家們決定讓兩大當(dāng)紅科技創(chuàng)新炸子雞強(qiáng)強(qiáng)聯(lián)手，看看能不能搞個大新聞。其一是云機(jī)器人——這個概念認(rèn)為機(jī)器人可以在線分享數(shù)據(jù)和技能；另一個便是機(jī)器學(xué)習(xí)，也就是通過應(yīng)用深度神經(jīng)網(wǎng)絡(luò)讓機(jī)器人實現(xiàn)自主學(xué)習(xí)。

在科學(xué)家們進(jìn)行的一系列實驗中，獨立的機(jī)械臂會不斷重復(fù)一個指定的任務(wù)。不出意外的是，在長時間的任務(wù)執(zhí)行過程中，每個機(jī)器人的技術(shù)水平都會得到一定提高，它能學(xué)會適應(yīng)外部環(huán)境以及自身運動的輕微變化。但是，谷歌團(tuán)隊并沒有就此滿足。他們把機(jī)器人習(xí)得的這些經(jīng)驗輸進(jìn)一個大數(shù)據(jù)庫里，從中建立技能模型，如此一來，機(jī)器人就可以更快更好地完成任務(wù)。

“機(jī)器人學(xué)習(xí)到的技能（比如推東西、開門等等）還是相對簡單了點，但是通過快速高效的集體學(xué)習(xí)，在未來機(jī)器人的行動會更加豐富，這樣它們就可以在日常生活中為人們提供各種各樣的輔助了。”

早前，Levine和來自Google X 實驗室的同事們展示了深度學(xué)習(xí)網(wǎng)絡(luò)是如何幫助機(jī)器人自學(xué)抓物的。在那項研究中，一組機(jī)械臂不停地抓抓抓，抓了大概八萬多次，簡直喪心病狂。盡管一開始它們總是失敗連連，但是通過神經(jīng)網(wǎng)絡(luò)的不斷訓(xùn)練，成功率便有了顯著的提高。

　　在最近的一項實驗中，谷歌科學(xué)家們測試了三個不同的場景。

第一個場景中，機(jī)器人從試驗和錯誤實踐中直接學(xué)習(xí)運動技巧。每個機(jī)器人從一套神經(jīng)網(wǎng)絡(luò)開始，嘗試一次一次地開門。每隔一段時間，這些機(jī)器人們就會把它們性能數(shù)據(jù)傳輸給中央服務(wù)器，這個服務(wù)器會利用數(shù)據(jù)打造一個全新的神經(jīng)網(wǎng)絡(luò)，從而更好地分析運動和成功率之間的關(guān)系。接著，這個服務(wù)器會把更新完成的神經(jīng)網(wǎng)絡(luò)傳輸給機(jī)器人。“因為這個更新了的網(wǎng)絡(luò)對動作幅度的估測更加精準(zhǔn)，所以機(jī)器人們的表現(xiàn)會更好”，科學(xué)家們寫道。“這個過程可以無限循環(huán)往復(fù)，從而不斷提高機(jī)器人執(zhí)行任務(wù)的能力。”

在第二個場景中，科學(xué)家們希望機(jī)器人可以學(xué)習(xí)如何與物體互動，這個互動的過程不只限于試驗和錯誤實踐，還包括建立內(nèi)物體、環(huán)境以及它們自身行為的內(nèi)部模型。比如，在剛剛提到的開門任務(wù)中，每個機(jī)器人都會有自己的一套神經(jīng)系統(tǒng)，它們會和各種不同的物體互動。這些機(jī)器人會分享它們的經(jīng)驗，然后一起打造科學(xué)家們口中所謂的“單獨預(yù)測模型”，讓它們更好地了解與它們發(fā)生互動的物體。你可以通過單獨一個機(jī)器人打造類似的預(yù)測模型，但是如果融合了許多機(jī)器人的經(jīng)驗的話，這個過程會快很多。

在第三個場景中，機(jī)器人在學(xué)習(xí)過程中會得到來自人類的幫助。要知道，人類和外界物體以及整個世界互動的過程中，總是有很多直覺。而在一些控制技能的幫助下，我們可以把這些所謂的直覺轉(zhuǎn)化到機(jī)器人身上，讓它們更好地學(xué)習(xí)這些技能。在實驗中，一個科學(xué)家?guī)椭唤M機(jī)器人，開啟各種不一樣的門，而一個中央服務(wù)器控制的單獨的神經(jīng)系統(tǒng)會對它們的行動進(jìn)行編程。接著，這些機(jī)器人會反復(fù)進(jìn)行一系列的試驗和錯誤實踐，這個實踐的難度會慢慢攀升，好讓神經(jīng)網(wǎng)絡(luò)不斷升級。“試驗和錯誤學(xué)習(xí)以及人類指導(dǎo)的結(jié)合，讓機(jī)器人在幾個小時內(nèi)，可以一起學(xué)習(xí)如何開門，”科學(xué)家們寫道，“因為機(jī)器人訓(xùn)練開了各種外表不一樣的門，所以在決勝局中，機(jī)器人們要開一扇它們從未見過的有一個把手的門。”這些科學(xué)家，小算盤打得溜溜的。

谷歌團(tuán)隊認(rèn)為，它們的機(jī)器人的水平目前還是非常有限的。但是他們希望隨著機(jī)器人和算法的進(jìn)步和普及，集體學(xué)習(xí)能讓機(jī)器人執(zhí)行任務(wù)的能力大大提升：

在以上提到的三項實驗中，機(jī)器人之間交流、交換經(jīng)驗的能力讓它們能更好更快地學(xué)習(xí)。尤其是當(dāng)我們將機(jī)器人學(xué)習(xí)和深度學(xué)習(xí)融合到一起的時候，交換經(jīng)驗的重要性就更不容忽視了。老早以前，我們就知道，在有大量訓(xùn)練數(shù)據(jù)的情況下，深度學(xué)習(xí)的運作會非常棒。比如，IamgeNet標(biāo)準(zhǔn)檢查程序就利用了超過一百五十萬經(jīng)過分析的數(shù)據(jù)。而這些大量的數(shù)據(jù)，是不可能由單獨一個機(jī)器人在幾年的時間內(nèi)收集到的。然而，如果是幾個機(jī)器人協(xié)同作戰(zhàn)的話，數(shù)周內(nèi)我們就可以獲取等量的數(shù)據(jù)。

如果你對這個研究方向感興趣的話，可以猛戳此鏈接，讀讀谷歌研發(fā)團(tuán)隊po在arXiv上的文章，其中兩篇他們已經(jīng)投給了2017年的ICRA了喲。