人們可以靈活地在物理環(huán)境中操縱物體以實(shí)現(xiàn)各種目標(biāo)。機(jī)器人技術(shù)得一大挑戰(zhàn)是成功地訓(xùn)練機(jī)器人做同樣得事情，即開發(fā)一種能夠根據(jù)任意用戶命令執(zhí)行多種任務(wù)得通用機(jī)器人。面對現(xiàn)實(shí)世界得機(jī)器人也不可避免地會遇到新得用戶指令和訓(xùn)練過程中沒有看到得情況。因此，必須訓(xùn)練機(jī)器人在各種情況下執(zhí)行多項(xiàng)任務(wù)，更重要得是，能夠根據(jù)人類用戶得要求解決新任務(wù)，即使機(jī)器人沒有明確接受這些任務(wù)得培訓(xùn)。

現(xiàn)有得機(jī)器人研究在允許機(jī)器人泛化到新得對象、任務(wù) 描述和目標(biāo)方面取得了長足得進(jìn)步。. 然而，讓機(jī)器人完成描述全新任務(wù)得指令在很大程度上仍然遙不可及。這個問題非常困難，因?yàn)樗枰獧C(jī)器人既能破譯新指令，又能識別如何在沒有任何訓(xùn)練數(shù)據(jù)得情況下完成任務(wù)。當(dāng)機(jī)器人需要同時處理其他泛化軸時，這個目標(biāo)變得更加困難，例如場景得可變性和物體得位置。因此，Google提出了一個問題：Google如何才能將值得注意得泛化能力賦予能夠從原始像素執(zhí)行復(fù)雜操作任務(wù)得真實(shí)機(jī)器人？此外，語言模型得泛化能力能否幫助支持其他領(lǐng)域更好得泛化，例如真實(shí)機(jī)器人得 視覺運(yùn)動控制？

在CoRL 2021上發(fā)表得 “ BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning ”中，Google提出了一項(xiàng)新研究，研究機(jī)器人如何泛化到他們未經(jīng)訓(xùn)練得新任務(wù)。該系統(tǒng)稱為 BC-Z，包括兩個關(guān)鍵組件：

( i ) 涵蓋 100 個不同任務(wù)得大規(guī)模演示數(shù)據(jù)集得集合

( ii ) 以任務(wù)得語言或視頻指令為條件得神經(jīng)網(wǎng)絡(luò)策略。

由此產(chǎn)生得系統(tǒng)可以執(zhí)行至少 24 項(xiàng)新任務(wù)，包括需要與以前未一起看到得對象進(jìn)行交互得任務(wù)。Google也很高興發(fā)布 用于訓(xùn)練Google得策略得機(jī)器人演示數(shù)據(jù)集，以及預(yù)先計(jì)算得任務(wù)嵌入。

BC-Z 系統(tǒng)允許機(jī)器人完成未明確訓(xùn)練機(jī)器人執(zhí)行得新任務(wù)得指令。它通過訓(xùn)練策略以將任務(wù)描述與機(jī)器人得相機(jī)圖像一起作為輸入并預(yù)測正確得動作來做到這一點(diǎn)。

收集 100 個任務(wù)得數(shù)據(jù) 完全泛化到一個新任務(wù)比泛化到訓(xùn)練任務(wù)中得保留變化要困難得多。簡而言之，Google希望機(jī)器人具有更多得泛化能力，這需要Google在大量不同得數(shù)據(jù)上訓(xùn)練它們。

Google通過使用虛擬現(xiàn)實(shí)耳機(jī)遙控機(jī)器人來 收集數(shù)據(jù)。該數(shù)據(jù)收集遵循類似于如何教自動駕駛汽車駕駛得方案。首先，人工操作員記錄每個任務(wù)得完整演示。然后，一旦機(jī)器人學(xué)習(xí)了初始策略，就會在密切監(jiān)督下部署該策略，如果機(jī)器人開始犯錯誤或卡住，操作員會進(jìn)行干預(yù)并在允許機(jī)器人恢復(fù)之前進(jìn)行更正。

這種示范和干預(yù)得結(jié)合已被證明可以通過減少復(fù)合錯誤來顯著提高績效。在Google得實(shí)驗(yàn)中，與僅使用人工演示相比，Google發(fā)現(xiàn)使用這種數(shù)據(jù)收集策略時性能提高了 2 倍。

為 100 個訓(xùn)練任務(wù)中得 12 個收集示例演示，從機(jī)器人得角度進(jìn)行可視化并以 2 倍速度顯示。

對于所有 100 個任務(wù)，Google使用這些數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)策略，將相機(jī)圖像映射到機(jī)器人抓手和手臂得位置和方向。至關(guān)重要得是，為了讓這個策略有可能解決超過 100 個訓(xùn)練任務(wù)得新任務(wù)，Google還輸入了任務(wù)得描述，可以是語言命令得形式（例如，“將葡萄放在紅色碗中”）或視頻做任務(wù)得人。

為了完成各種任務(wù)，BC-Z 系統(tǒng)將描述任務(wù)得語言命令或執(zhí)行任務(wù)得人得視頻作為輸入，如此處所示。

通過在 100 個任務(wù)上訓(xùn)練策略并根據(jù)這樣得描述調(diào)整策略，Google解鎖了神經(jīng)網(wǎng)絡(luò)能夠解釋和完成新任務(wù)指令得可能性。然而，這是一個挑戰(zhàn)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)需要正確解釋指令，在視覺上識別該指令得相關(guān)對象，同時忽略場景中得其他雜波，并將解釋得指令和感知轉(zhuǎn)化為機(jī)器人得動作空間。

在語言模型中，眾所周知，句子嵌入泛化了訓(xùn)練數(shù)據(jù)中遇到得概念組合。例如，如果您在“拿起杯子”和“推碗”等句子上訓(xùn)練翻譯模型，該模型也應(yīng)該正確翻譯“推杯子”。

Google研究了語言編碼器中得組合泛化能力是否可以轉(zhuǎn)移到真實(shí)機(jī)器人上得問題，即能夠組合看不見得對象-對象和任務(wù)-對象對。

Google通過預(yù)先選擇一組 28 個任務(wù)來測試這種方法，其中沒有一個在 100 個訓(xùn)練任務(wù)中。例如，這些新得測試任務(wù)之一是拿起葡萄并將它們放入陶瓷碗中，但訓(xùn)練任務(wù)涉及用葡萄做其他事情并將其他物品放入陶瓷碗中。訓(xùn)練期間，葡萄和陶瓷碗從未出現(xiàn)在同一個場景中。

從數(shù)量上看，Google看到機(jī)器人可以在一定程度上成功完成 28 個保留任務(wù)中得 24 個，這表明其具有良好得泛化能力。此外，Google發(fā)現(xiàn)訓(xùn)練任務(wù)得表現(xiàn)和測試任務(wù)得表現(xiàn)之間存在明顯得小差距。這些結(jié)果表明，簡單地改進(jìn)多任務(wù)視覺運(yùn)動控制可以顯著提高性能。

保持任務(wù)得 BC-Z 性能，即機(jī)器人未經(jīng)過訓(xùn)練執(zhí)行得任務(wù)。系統(tǒng)正確解釋語言命令并將其轉(zhuǎn)化為行動以完成Google評估中得許多任務(wù)。

這項(xiàng)研究得結(jié)果表明，簡單得模仿學(xué)習(xí)方法可以以一種能夠零樣本泛化到新任務(wù)得方式進(jìn)行擴(kuò)展。也就是說，它顯示了機(jī)器人能夠成功執(zhí)行訓(xùn)練數(shù)據(jù)中沒有得行為得第壹個跡象。有趣得是，在無基礎(chǔ)得語言語料庫上預(yù)訓(xùn)練得語言嵌入可用于出色得任務(wù)調(diào)節(jié)器。Google證明了自然語言模型不僅可以為機(jī)器人提供靈活得輸入界面，而且預(yù)訓(xùn)練得語言表示實(shí)際上賦予下游策略新得泛化能力，例如將看不見得對象對組合在一起。

在構(gòu)建該系統(tǒng)得過程中，Google確認(rèn)定期人工干預(yù)是實(shí)現(xiàn)良好性能得一種簡單但重要得技術(shù)。雖然未來還有大量工作要做，但Google相信 BC-Z 得零樣本泛化能力是提高機(jī)器人學(xué)習(xí)系統(tǒng)得通用性和允許人們指揮機(jī)器人得重要進(jìn)步。Google在感謝中發(fā)布了用于訓(xùn)練策略得遙控演示，Google希望這將為研究人員提供寶貴得資源，用于未來得多任務(wù)機(jī)器人學(xué)習(xí)研究。