轉自 CAAI認知系統與信息處理專委會

本文提出了一種在多任務機器人技能獲取框架背景下耦合內部引導學習和社交互動的方法。更具體地說，專注于通過結合主動內在動機學習和主動模仿學習來學習機器人運動基元的參數化分布。由機器人通過經驗。這種方法旨在通過依賴技能獲取機制盡可能有效地結合體驗式學習和觀察式學習，其中代理/機器人能以迭代方式編排不同的學習策略，并根據以前的經驗調整這些模式的使用。模擬的 7-DoF Franka Emika 機器人證明了本文的方法在垃圾扔任務上的有效性，在學習過程的每次迭代中，機器人可以在觀察/模仿學習和體驗/內在動機學習之間進行主動選擇。

人類和其他動物通過終身學習以開放式的方式獲得和完善技能，因此在他們的環境中進行互動和學習時具有自主性和多功能性。盡管人工智能取得了重要進展，但機器人仍然缺乏這種能力。賦予機器人以開放式方式增量地自主發現和解決多項任務的能力是當今機器人技術的最大挑戰之一，也是發展機器人技術領域的目標。特別是，人類有能力使用多種學習方式，最有趣的是根據其可靠性來仲裁他們的選擇。本文通過提出一種結合內在動機學習和模仿學習的有原則的計算方法來探索實現這一目標的可能途徑。在機器人技術中，技能習得最常通過專注于單一學習策略或通過預先定義學習策略的基本序列（例如，用演示初始化的強化學習問題）來研究。這導致了大量的研究工作致力于開發專門用于單個領域的非常精細的算法（從演示中學習、強化學習、好奇心驅動的學習）。

本文認為，可以通過允許多種學習策略并提供一種機制來以開放式和交互方式選擇這些學習方式，從而降低這種復雜性。就像我們不能僅僅通過看電視來學習踢球，也不能僅僅根據比賽規則從頭開始學習足球戰術一樣。我們認為機器人應該依賴多種學習策略，其順序只能確定在學習過程中，以終身學習的方式。上述論點受到各個領域的研究的推動，包括認知科學、行為學、神經計算和機器人學，所有這些都以不同的形式證明了見解，關于結合多種學習方式來獲得技能的重要性。特別是，多項發展研究表明，模仿學習是兒童發展中社會學習的關鍵組成部分。孩子們傾向于模仿他們看到的東西，即使觀察到的一些動作不一定有用。從發展機器人學的角度來看，本文認為在技能獲取過程中編排多種學習策略可以更好地應對每個單獨策略的特定優勢和局限性。事實上，這些策略通常是相互補充的，因此有必要將她們結合起來。內在動機學習不需要外部指導，即不需要人在場，但通常涉及與環境的長期交互過程。另一方面，模仿學習需要人類在場，但演示提供了大量信息，而這些信息需要大量時間才能自主獲取。

本文提出了一種可以在不同方面發揮作用的主動學習方法_在基元級別，通過以開放式方式決定當前最合適的學習方式，在低級別，通過決定哪些代理當前需要自己體驗或要求作為演示的條件/情況/背景。本文的貢獻是用于學習機器人運動原語的貝葉斯計算框架，提供這種高級和低級仲裁能力，即_策略選擇_機器人根據其先前的經驗在模仿學習和內在動機學習之間主動選擇。示范選擇_在模仿學習策略中，機器人主動選擇期望的目標產生最有趣的演示。策略探索_在內在動機學習策略中，機器人主動選擇哪個動作最能提高其對任務的知識。據本文所知，本文的工作是第一個將這三個學習方面集成到計算框架中的工作。

通過 7-DoF 模擬 Franka Emika Panda 機器人的垃圾投擲任務展示了本文方法的穩健性。本文通過將每個主動學習算法與替代基線進行比較來研究她們的有用性，并表明在所有實驗中，本文的算法都提供了最佳性能。本文方法的基本要素在于對運動的聯合分布進行建模。以此可以計算幾種形式的條件分布（在本文的例子中，量化特定機器人運動對物體的內在激勵學習的影響，或者將物體帶到所需的最終模仿位置所需的機器人運動學習）。此外，由于內在動機學習和模仿學習基于相同的運動聯合模型，本文可以定量比較這些非常不同的學習方式。在未來的工作中，本文將研究是否可以將額外的學習方式添加到框架中。特別是，使用人類反饋作為一種學習方式可能特別有趣，因為人類用戶向機器人提供部分反饋而不是完整演示會不那么麻煩。未來還將調查所提議的主動學習方法是否可以擴展到技能的不同方面，以允許不同的學習方式改進任務的不同方面（例如，通過觀察學習獲得運動學方面，以及通過體驗式學習的動態方面）。