Abstract

最近的研究表明，大型語言模型（llms）可以應用于將自然語言應用于各種各樣的機器人技能。然而，在實踐中，學習多任務、語言條件機器人技能通常需要大規(guī)模的數據收集和頻繁的人為干預來重置環(huán)境或幫助糾正當前的policies。在這項工作中，我們提出了一種新的方法，通過利用自我監(jiān)督的視覺語言啟示 visuo-lingual affordance模型，從現實世界中的非結構化、離線和無重置數據中有效地學習通用語言條件機器人技能，該模型只需要用語言注釋總數據的1%。我們在模擬和現實世界的機器人任務中進行了廣泛的實驗，評估了我們的方法，在具有挑戰(zhàn)性的calvin基準上實現了最先進的性能，并在現實世界中使用單個policy學習了25個不同的視覺運動操作任務。我們發(fā)現，當與llm結合使用，通過少鏡頭提示將抽象的自然語言指令分解為子目標時，我們的方法能夠在現實世界中完成長時間、多層的任務，同時需要的數據比以前的方法少一個數量級。代碼和視頻可在http://hulc2.cs.uni-freiburg.de.????????

I. INTRODUCTION

大規(guī)模語言建模的最新進展在將世界語義知識橋接到機器人指令跟隨和規(guī)劃[1]、[2]、[3]方面產生了有希望的結果。實際上，使用大型語言模型 (llm) 進行規(guī)劃需要擁有大量不同的低級行為，這些行為可以無縫地組合在一起以智能地在現實世界中行動。學習這種感覺運動技能并以語言為基礎通常需要大量大規(guī)模的數據收集工作[1]，[2]，[4]，[5]，頻繁的人工干預，將技能限制為模板拾取和放置操作[6]，[7]，或在更簡單的模擬環(huán)境[8]，[9]，[10]中部署policies。人類明顯簡單的任務，如將水倒入杯子中，很難教機器人做，也被稱為moravec悖論[11]。這就提出了一個問題：我們如何以可擴展和數據高效的方式在現實世界中學習各種視覺運動技能，如下所示指令？

先前的研究表明，將機器人操作分解為語義和空間路徑[12]，[13]，[6]，提高了多模態(tài)信息的泛化、數據效率和理解。受這些路徑架構的啟發(fā)，我們提出了一種新穎的、樣本高效的方法，通過利用自監(jiān)督的視覺語言啟示模型，從現實世界中的非結構化、離線和無重置數據中學習通用語言條件機器人技能。我們的主要觀察結果是，我們可以用一個基于語義概念的高級流和一個基于3D空間交互知識的低級流來分層分解目標達成問題，而不是通過擴展數據收集來學習如何使用單個端到端模型從任何當前狀態(tài)達到任何可實現的目標狀態(tài)[14]，如圖1所示。

圖1：當與大型語言模型配對時，hulc++能夠從現實世界中的抽象自然語言指令中完成長期、多層任務，例如“整理工作空間”，而無需額外培訓。我們利用視覺啟示模型將機器人引導到語言所指的可操作區(qū)域附近。一旦進入這個區(qū)域，我們就會切換到一個7-dof語言條件視覺運動器policy，它是從離線、非結構化數據中訓練出來的。

具體來說，我們提出了分層通用語言條件策略 Hierarchical Universal Language Conditioned Policies 2.0（hulc++），這是一個分層語言條件agent，它將hulc[10]的任務無關控制與vapo[13]的以對象為中心的語義理解相結合。hulc是一個state-of-the-art語言條件模仿學習agent，它學習7-dof目標，端到端達到policies。然而，為了共同學習語言、視覺和控制，它需要大量的機器人交互數據，類似于其他端到端agents[4]、[9]、[15]。vapo提取了非結構化數據的自監(jiān)督視覺啟示模型，不僅加速了學習，而且還被證明可以提高下游控制policies的泛化能力。我們證明，通過擴展vapo來學習語言條件啟示，并將其與基于hulc的7-dof低級policy相結合，我們的方法能夠直接從圖像中連續(xù)跟蹤多個長期操作任務，同時需要的數據比以前的方法少一個數量級。與之前的工作不同，之前的工作依賴于昂貴的專家演示和完全注釋的數據集來學習現實世界中的語言條件agents，我們的方法利用了一種更具可擴展性的數據收集方案：非結構化、無重置且可能次優(yōu)的遠程操作游戲數據[16]。此外，我們的方法只需要用語言注釋總數據的1%。大量實驗表明，當與將抽象自然語言指令翻譯成一系列子目標的llm配對時，hulc++可以在現實世界中完成長時間、多階段的自然語言指令。最后，我們表明，我們的模型在具有挑戰(zhàn)性的calvin基準[8]上設定了一個新的技術水平，通過7自由度控制，從高維感知觀察中連續(xù)跟蹤多個長期操縱任務，并通過自然語言指定。據我們所知，我們的方法是第一個明確旨在從現實世界中純粹離線、無重置和非結構化數據中解決語言條件的longhorizon、多層任務的方法，同時只需要1%的語言注釋。

II. RELATED WORK

在基礎語言和視覺的進步推動下，機器人社區(qū)對構建語言驅動的機器人系統(tǒng)的興趣日益濃厚[17]，[19]。早期的工作側重于定位引用表達式[20]、[21]、[22]、[23]、[24]中提到的對象，并使用預定義的運動基元遵循拾取和放置指令[25]、[6]、[26]。最近，端到端學習已被用于研究融合感知、語言和控制的挑戰(zhàn)性問題[4]、[27]、[28]、[1]、[10]、[9]、[15]、[5]。由于其靈活性，從像素進行端到端學習是建模通用agents的一個有吸引力的選擇，因為它對對象和任務的假設最少。然而，這種像素到動作模型通常具有較差的采樣效率。在機器人操作領域，光譜的兩個極端是cliport[6]，另一方面是agents，如gato[5]和bc-z[4]，其范圍從需要幾百個專家演示如何通過運動規(guī)劃拾取和放置物體，到需要幾個月的專家演示數據收集來學習視覺運動操作技能以實現連續(xù)控制。相比之下，我們取消了收集專家演示的要求以及手動重置場景的相應需求，以從非結構化、無重置、遠程操作的播放數據中學習[16]。另一個正交工作線通過使用預訓練的圖像表示[29]、[6]、[30]來引導下游任務學習，解決了數據效率低下的問題，我們在這項工作中也利用了這一點。

我們提出了一種新的分層方法，結合了兩種范式的優(yōu)勢，從高維相機觀察中學習語言條件、任務無關、長視野policies。受將機器人操縱分解為語義和空間路徑的工作思路的啟發(fā)[12]，[13]，[6]，我們提出利用非結構化數據的自我監(jiān)督啟示模型，將機器人引導到語言指令中提到的可操作區(qū)域附近。一旦進入這個區(qū)域，我們就會切換到一個單一的多任務7-dof語言條件視覺運動器policy，它也是從離線、非結構化數據中訓練出來的。
?

III. METHOD

我們將方法分解為三個主要步驟。首先，我們從非結構化、遠程操作的數據中訓練一個語言條件啟示模型，以預測提供輸入語言指令的對象的3d位置（第iii-a節(jié)）。其次，我們利用基于模型的規(guī)劃向預測位置移動，并切換到本地語言條件的、基于學習的policy與場景交互（第iii-c節(jié)）。第三，我們展示了如何將hulc++與大型語言模型（llm）結合使用，將抽象語言指令分解為一系列可行的、可執(zhí)行的子任務（第iii-d節(jié)）。

從形式上講，我們的最終機器人policy被定義為混合物：

具體而言，我們使用投影的末端執(zhí)行器位置和來自啟示模型的預測像素之間的像素距離來選擇使用哪個policy。如果距離大于閾值，則預測區(qū)域遠離機器人當前位置，我們使用基于模型的policy移動到預測位置。否則，末端執(zhí)行器已經接近預測位置，我們繼續(xù)使用基于學習的policy。因此，我們將α定義為：

由于啟示預測以語言為條件，每次agent收到新指令時，我們的agent都會根據α（s，l）決定使用哪個policy。將無模型policy活動的區(qū)域限制在提供人機交互的區(qū)域附近具有使其更具采樣效率的優(yōu)點，因為它只需要學習局部行為。

A. Extracting Human Affordances from Unstructured Data

我們的目標是學習一個啟示模型?affordance model?，該模型可以在給定自然語言指令時預測世界位置。與之前需要手動繪制分割掩碼的啟示學習方法不同[31]，我們自動從非結構化、人類遠程操作的游戲數據中提取啟示[16]。利用游戲數據有幾個優(yōu)點：它收集起來既便宜又可擴展，包含一般行為，而且不是隨機的，而是由人類的啟示知識構建的。具體來說，游戲數據由一個長的未分段數據集D組成，該數據集D包含用戶在沒有特定任務的情況下遠程操作機器人提供的語義上有意義的行為。全狀態(tài)動作流被重新標記，以將前面的狀態(tài)和動作視為達到訪問狀態(tài)的最佳行為[16]。此外，我們假設少數隨機序列（不到數據集的1%）用描述序列中正在完成的任務的語言指令進行注釋。

為了從非結構化數據中提取視覺啟示，我們使用抓取器動作作為啟發(fā)式方法來發(fā)現與任務完成相關的場景元素?？紤]以下場景：一個隨機序列τ=，其中k表示窗口大小，用語言指令注釋。如果序列中的任何狀態(tài)si，動作ai包含一個抓取器關閉信號，我們假設在末端執(zhí)行器的位置有一個執(zhí)行任務l所需的對象。為了學習視覺-語言啟示模型，我們將endeffector世界位置投影到相機圖像上以獲得像素點，并用所述像素和語言指令l注釋前面的幀，如圖2所示。直觀地說，這允許啟示模型學習預測與完成任務l所需的對象相對應的像素。

圖2：從人類遠程操作的非結構化、自由形式的交互數據中提取語言條件視覺啟示的過程的可視化。我們在遙操作期間利用夾具打開/關閉信號將末端執(zhí)行器投影到相機圖像中，以檢測無向數據中的啟示

在測試期間，給定預測的像素位置，假設現有的相機校準，需要深度信息來計算基于模型的policy應該移動到的3d位置。我們的模型不是依賴于感官深度觀測，而是通過使用夾具閉合過程中端部執(zhí)行器的位置作為監(jiān)督來訓練，以產生估計的深度。我們公式的一個關鍵優(yōu)勢是，通過從視覺語言特征預測深度，我們的模型可以更好地適應場景中可能發(fā)生的部分遮擋。

B. Language-Conditioned Visual Affordances

我們的視覺語言啟示模型，見圖3，由一個帶有兩個解碼器頭的編碼器-解碼器架構組成。第一個頭預測圖像上的分布，表示每個像素成為提供點 afforded point 的可能性。第二個頭預測高斯分布，從該分布中采樣相應的預測深度。兩個頭共享相同的編碼器，并以輸入語言指令為條件。從形式上講，給定一個由視覺觀察和語言指令組成的輸入，啟示模型Fa產生一個輸出o，即（1）逐像素熱圖，指示提供命令任務的區(qū)域，以及（2）相應的深度估計d。我們將這個映射表示為。?

圖3：系統(tǒng)架構概述。hulc++首先處理語言指令和來自靜態(tài)相機的圖像，以預測提供的區(qū)域并將機器人引導到附近。一旦進入這個區(qū)域，我們就會切換到語言條件模仿學習agent，它從夾具和靜態(tài)相機接收rgb觀察結果，并學習端到端達到policies的7-dof目標。這兩個模塊都從相同的自由形式、非結構化數據集中學習，只需要1%的語言注釋。

1) Visual Module:

視覺預測模塊在給定輸入的情況下生成熱圖A。為了訓練它，我們在A的所有像素上應用softmax函數。這導致圖像上的分布V，其中所有像素值的總和等于1。

同樣，通過將所有值初始化為零，目標T的形狀與V相同。然后，我們使用與當前狀態(tài)輸入對應的投影位置的像素生成一個二進制one-hot像素圖。最后，我們利用交叉熵損失優(yōu)化了視覺預測模塊：

其中。該優(yōu)化方案[32]允許視覺模塊學習圖像上的多模態(tài)置信度，其中具有最高值的像素表示給定輸入的最可能的圖像位置。在推理過程中，我們使用密集像素輸出預測A來選擇像素位置：

啟示性預測遵循U-Net[33]架構，在該架構中，我們從LingUNet[34]中汲取靈感，在瓶頸后對三個解碼器層反復應用語言條件。

2) Depth Module:

如前所述，我們可以通過將感興趣像素pt變換到相機幀來計算深度模塊的目標，以獲得，其中該點的z坐標對應于真實深度。雖然我們計算了真實值，但典型的深度傳感器存在測量誤差。因此，為了設計一個對深度誤差進行建模的系統(tǒng)，我們使用地面真值深度信息通過最大化對數似然來訓練高斯分布。

如圖3所示，深度模塊由一組線性層組成，這些層將編碼的視覺語言特征作為輸入。在這里，語言調節(jié)是通過將自然語言編碼連接到多層感知器的前兩層來完成的。網絡的輸出是高斯分布d～的參數，在推理過程中對其進行采樣以獲得深度預測d。用于訓練完整啟示模型的總損失函數被定義為啟示模塊和深度預測模塊損失的加權組合：

C. Low-Level Language-Conditioned Policy

為了與對象交互，我們學習了一個目標條件policy，它在環(huán)境動力學：下，以當前狀態(tài)和自由形式語言指令為條件，輸出在的動作。我們注意到agent無法訪問環(huán)境的真實狀態(tài)，而是可以進行視覺觀察。我們使用基于hulc[10]的通用目標達成policy對低級policy進行建模，并使用多上下文模仿學習[9]進行訓練。我們利用了用戶提供的語義上有意義的行為的長非結構化數據集d，這些數據集d是我們之前在第iii-a節(jié)中用來學習啟示的。為了學習任務無關的控制，我們利用目標重新標記[35]，將這些短期目標圖像條件演示輸入到一個簡單的最大似然目標條件模仿目標中：

然而，當學習語言條件策略時，不可能將任何訪問狀態(tài)重新標記為自然語言目標，因為目標空間不再等同于觀測空間。lynch等人[9]表明，將少量隨機窗口與事后語言指令配對，可以學習一個單一的語言條件視覺運動器policy，該運動器可以執(zhí)行各種各樣的機器人操縱任務。這里的關鍵見解是，求解目標圖像或語言目標的單個模仿學習policy，可以主要從未標記的游戲數據中進行學習控制，并將語言注釋的負擔降低到總數據的1%以下。具體來說，給定多個上下文模仿數據集，具有不同的任務描述方式，多上下文模仿學習在所有數據集上同時訓練單個潛在目標條件的policy。

D. Decomposing Instructions with LLMs

使用啟示模型將機器人引導到語言指令提供的區(qū)域，然后利用低級policy執(zhí)行任務，原則上可以將多個語言指令鏈接成一行。雖然自然語言為任務規(guī)范提供了一種直觀和可擴展的方式，但要連續(xù)輸入低級語言指令可能不切實際，例如“打開抽屜”、“現在拿起粉紅色塊并將其放在抽屜里”、“然后拿起黃色塊并將它放在抽屜內”來執(zhí)行整理任務。理想情況下，我們希望給機器人一個抽象的高級指令，比如“整理工作空間并關閉所有燈”。與zeng等人[7]類似，我們使用標準的預訓練llm，將抽象語言指令分解為一系列可行的子任務，方法是用自然語言命令（格式為注釋）的幾個輸入示例與相應的機器人代碼（通過少量提示）配對。我們利用llm的代碼編寫能力[36]，[3]生成可執(zhí)行的python機器人代碼，這些代碼可以翻譯成語言表達的操作技能。例如，api調用push_button（'green'）所表達的技能被翻譯為“打開綠燈”，然后用于執(zhí)行policy的推理。我們唯一的假設是，輸入提示的場景描述與環(huán)境狀態(tài)相匹配。我們在圖4中顯示了一個示例提示。

圖4：將抽象指令分解為子任務序列的示例提示。提示上下文為灰色，輸入任務命令為洋紅色，生成的輸出突出顯示。

IV. EXPERIMENTS

我們的實驗旨在回答以下問題：

1）與使用端到端模型相比，集成所提出的視覺語言啟示模型是否可以提高以下語言指令的性能和數據效率？

2） 所提出的方法是否適用于現實世界？

3） 當與llm配對時，agent能否通過遵循llm提出的子目標來推廣新的行為？?

A. Simulation Experiments

Evaluation Protocol.

我們使用calvin基準[8]的環(huán)境d設計我們的實驗，該環(huán)境由6小時的遠程操作無定向游戲數據組成，這些數據可能包含次優(yōu)行為。為了模擬現實世界的場景，只有1%的數據包含眾包語言注釋。calvin中agent的目標是使用機載傳感，通過自然語言指示5個不同的子任務，解決多達1000個獨特的序列鏈。在推理過程中，只有當agent成功完成當前子任務時，它才會接收鏈中的下一個子任務。

Results and Ablations.

我們比較了我們將機器人控制學習劃分為基于語義概念的高級流和基于3d空間交互知識的低級流的方法，hulc是一個state-of-the-art端到端模型，它從游戲數據中學習基于語言的一般技能。為了進行公平的比較，我們重新訓練了原始的hulc agent，以微調語言編碼器，因為這將平均序列長度從2.64提高到2.69。我們在表i中觀察到，當與我們的啟示模型結合時，性能增加到平均序列長度2.93。通過將控制解耦為層次結構，我們表明性能顯著提高。此外，當使用預訓練權重r3m[29]初始化我們的啟示模型時，hulc++的平均序列長度為3.30，這是一項旨在學習用于學習機器人技能的可重用表示的工作。?

?為了研究我們提出的方法的數據效率，我們還將我們的模型與包含50%和25%總游戲數據的較小數據分割進行了比較。我們的結果表明，我們的方法比基線的樣本效率高出50%。由于可能很難判斷每個模塊對整體樣本效率提高的貢獻程度，我們研究了將我們在25%數據上訓練的啟示模型與在完整數據集上訓練的低級policy配對的效果。我們報告的差異很小，平均序列長度為2.92。

B. Real-Robot Experiments

System Setup.

我們在受模擬CALVIN環(huán)境啟發(fā)的3D桌面環(huán)境中使用Franka Emika Panda機器人手臂驗證了我們的結果。該環(huán)境由一張帶抽屜的桌子組成，抽屜可以打開和關閉，木制底座上還有一個滑動門，這樣末端執(zhí)行器就可以觸及手柄。此外，該環(huán)境還包含三個彩色燈開關和彩色塊。我們使用來自并發(fā)工作的離線數據集[37]，由9小時的非結構化數據組成，這些數據是通過要求參與者在不執(zhí)行任何特定任務的情況下遠程操作機器人而收集的。此外，我們通過要求人類注釋者描述交互數據集中隨機采樣窗口的行為，用語言注釋不到總數據的1%，具體為3605個窗口。該數據集包含超過25種不同的操作技能。我們注意到，在現實世界中學習如此廣泛的各種技能，從非結構化、無重置和可能次優(yōu)的數據中學習，再加上不到1%的數據被語言注釋，是極具挑戰(zhàn)性的。此外，此設置包含的數據比相關方法少一個數量級[4]。

Baselines.

為了研究我們的分層架構的有效性，我們以兩個語言條件基線為基準：hulc[10]和bc-z[4]。第一條基線用于評估利用啟示模型對控制回路進行分層分解的影響，因為低級policy是針對從非結構化數據中學習任務無關控制而定制的。另一方面，bc-z基線僅在包含語言注釋的數據上進行訓練，并包括擬議的輔助損失，該損失從視覺中預測語言嵌入，以更好地對齊視覺語言技能嵌入[4]。為了進行公平的比較，所有模型都有相同的觀察和動作空間，并且它們的靜態(tài)相機視覺編碼器都用預訓練的resnet-18 r3m特征初始化[29]。對于hulc++，這需要用于啟示模型的視覺編碼器和用于低級policy靜態(tài)相機的視覺編碼器。夾具相機的編碼器是從頭開始訓練的。?

Evaluation

我們首先評估受語言制約的個人技能的成功率。在使用離線游戲數據集訓練模型后，我們使用中性起始位置為每個任務執(zhí)行了10次展開，以避免在機器人的初始姿勢中偏置policies。這種中性初始化打破了初始狀態(tài)和任務之間的相關性，迫使agent完全依賴語言來推斷和解決任務。我們將每個模型的成功率記錄在表2中。我們觀察到，由于演示不足，bc-z基線在大多數任務中的性能接近于零。hulc的能力更強，因為它利用了完整的數據集，在10次推出中平均有42.4%，但在長期規(guī)劃方面遇到了困難，大多數用模仿學習訓練的端到端agents也是如此?？傮w而言，hulc++的能力更強，在25個不同的操作任務中平均成功率為65.2%，證明了在將控制解耦為層次結構之前結合語義-視覺-語言啟示的有效性。?

最后，我們通過利用gpt-3為抽象語言輸入生成子目標序列，例如“整理工作區(qū)并關燈”，來評估每種方法在現實世界中可以連續(xù)執(zhí)行多少任務。我們報告說，我們的方法平均執(zhí)行了6.4個子目標，而基線在完成2到3個子目標后往往會失敗。請參閱補充視頻，了解定性結果，這些結果展示了任務的多樣性和不同方法的longhorizon能力?？傮w而言，我們的結果證明了我們的方法通過利用視覺語言啟示從非結構化數據中學習樣本高效、語言條件化的policies的有效性。

V. CONCLUSION AND LIMITATIONS

在這篇論文中，我們介紹了一種新的方法，可以從包含低至1%語言注釋的非結構化、離線和免重置數據中有效地學習通用、語言條件機器人技能。關鍵思想是從不同的人類遠程操作數據中提取語言條件啟示，以學習在自然語言指令下，交互應該在環(huán)境中的何處發(fā)生的語義先驗。我們將這些知識提煉為基于模型和無模型的policies之間的相互作用，允許對機器人控制學習進行樣本高效的劃分，大大超過了具有挑戰(zhàn)性的語言條件機器人操縱calvin基準的最新技術。我們表明，當與llm結合將抽象的自然語言指令翻譯成子目標序列時，hulc++能夠完成現實世界中的長期、多層任務，同時需要的數據比以前的方法少一個數量級。雖然實驗結果很有希望，但我們的方法有幾個局限性。首先，在現實世界中對技能進行排序時，一個懸而未決的問題是跟蹤任務進度，以便知道何時進入下一個任務。在這項工作中，我們以固定的時間范圍對現實世界中的任務進行排序，隱含地假設所有任務都需要大約相同的時間步才能完成。其次，將抽象語言輸入轉換為子目標序列的代碼生成模塊假設提示的場景描述與環(huán)境狀態(tài)相匹配，這可以通過集成感知系統(tǒng)來自動化[2]。最后，未來工作的一個令人興奮的領域可能是，不僅要用語言模型為行動奠定基礎，還要通過結合現實世界的機器人數據來探索改進語言模型本身[38]。