在機器人訓練中，如何高效地利用模擬環(huán)境一直是研究者們關注的重點問題。
近日，美國斯坦福大學李飛飛教授團隊提出了一種突破性的“數(shù)字表親”（digital cousins）概念。這一創(chuàng)新方法既保留了數(shù)字孿生的優(yōu)勢，又大大降低了從真實到模擬環(huán)境的生成成本，同時提高了學習的泛化能力。
“數(shù)字表親”不僅能有效地將真實世界的數(shù)據(jù)擴展到模擬環(huán)境中進行學習，還有望為機器人訓練帶來顯著進展，為解決長期存在的模擬到現(xiàn)實遷移問題提供了新的思路。
項目主頁：https://digital-cousins.github.io/論文地址：https://arxiv.org/abs/2410.07408
▍什么是“數(shù)字表親”？與“數(shù)字孿生”有何不同?
什么是“數(shù)字表親”？它與我們熟知的“數(shù)字孿生”有何不同？
“數(shù)字孿生”作為真實場景的精確虛擬復制品，雖然能夠準確地對場景進行建模，但其生成成本極為昂貴，且無法提供良好的跨域泛化能力。而“數(shù)字表親”則是一種介于數(shù)字孿生與完全隨機化之間的創(chuàng)新概念。它不直接模擬現(xiàn)實世界的特定對應物，但仍然能夠捕捉相似的幾何形狀和語義功能。

通過這種方式，“數(shù)字表親”大大降低了生成類似虛擬環(huán)境的成本。同時，由于提供了一系列相似但不完全相同的訓練場景，它還能提高從模擬到真實環(huán)境的遷移魯棒性。
“數(shù)字表親”方法的一大亮點在于，它能夠同時實現(xiàn)以下三個目標：
1、將單幅圖像轉換為完全交互式的虛擬場景2、全自動處理過程，無需人工注釋3、訓練出的機器人策略可以直接在原始場景中進行零樣本部署

這意味著，理論上只需拍攝一張照片，就能完成從現(xiàn)實到虛擬再到現(xiàn)實的全流程訓練。 研究團隊發(fā)現(xiàn)，ACDC方法生成的數(shù)字表親場景成功保留了原始環(huán)境的幾何結構和語義特征。具體而言，這些策略在零樣本遷移到真實世界時，達到了90%的成功率，遠遠超過了在傳統(tǒng)數(shù)字孿生環(huán)境中訓練的策略（僅為25%）。
▍ACDC：自動創(chuàng)建數(shù)字表親的核心算法
為了實現(xiàn)“數(shù)字表親”的自動生成，李飛飛教授團隊提出了一種名為ACDC（Automated Creation of Digital Cousins）的算法。這個算法包含三個關鍵步驟：

1、信息提取：
從輸入的單張RGB圖像中提取每個物體的關鍵信息，包括位置、大小、朝向等。
2、數(shù)字表親匹配：
利用第一步提取的信息，結合預先準備的3D模型資產(chǎn)庫，為檢測到的每個物體匹配最合適的數(shù)字表親模型。
3、場景生成：
對選定的數(shù)字表親模型進行后處理和組合，生成一個物理上合理且完全可交互的虛擬場景。
ACDC通過這三個階段，能自動生成在語義層面與輸入圖片相近但又不盡相同的虛擬環(huán)境。這為機器人策略學習提供了豐富多樣的訓練場景。

值得注意的是，與數(shù)字孿生不同，數(shù)字表親并不追求在所有微小細節(jié)上都完美重建給定場景，而是專注于保留更高層次的細節(jié)，如物體間的空間關系和語義信息。這種做法不僅降低了計算成本，還有助于提高學習策略的泛化能力。
在構建了一組數(shù)字表親場景后，研究團隊采用了基于腳本演示的模仿學習方法來訓練機器人策略。他們實現(xiàn)了包括打開、關閉、拿取和放置等基礎技能，這些技能足以用于收集各種日常任務的演示數(shù)據(jù)，如物體重新排列和操作家具等。
▍實驗驗證：“數(shù)字表親”的優(yōu)越性能
為了全面評估"數(shù)字表親"方法的有效性，研究團隊設計了一系列實驗，旨在回答以下問題：
研究團隊通過一系列實驗，全面評估了ACDC方法的性能和潛力。他們探討了ACDC從單張RGB圖像生成高質量數(shù)字表親的能力，特別關注其捕捉原始場景語義和空間細節(jié)的準確性。
同時，團隊比較了數(shù)字表親和數(shù)字孿生在策略訓練方面的效果，既在原始環(huán)境中進行評估，也測試了在分布外設置中的表現(xiàn)，以驗證數(shù)字表親訓練策略的穩(wěn)健性和適應能力。
此外，研究還著重考察了這些策略實現(xiàn)零樣本從模擬到現(xiàn)實遷移的可能性。 場景重建質量評估
首先，研究者們對ACDC生成的場景進行了定量和定性評估。結果顯示，ACDC在多個指標上都取得了令人滿意的表現(xiàn)：

ACDC在真實到虛擬場景轉換中的表現(xiàn)通過這些指標得到了量化。值得注意的是，系統(tǒng)能為同一場景生成多個不同的數(shù)字表親版本。

基于這些全面的評估結果，研究團隊有充分理由得出積極結論：ACDC確實展現(xiàn)了出色的能力，能夠從單一RGB圖像出發(fā)，創(chuàng)建保留原始場景語義和空間特征的數(shù)字表親。這些虛擬復制品不僅在物體識別上表現(xiàn)出色，還能準確還原其在場景中的位置和尺寸。
這些數(shù)據(jù)表明，ACDC能夠準確捕捉輸入場景中的語義和空間信息，并生成高質量的數(shù)字表親模型。
sim2sim策略學習
為了驗證數(shù)字表親在策略學習中的效果，研究團隊在三個典型任務上進行了對比實驗：開門、打開抽屜和收起碗。實驗結果表明：

1、在數(shù)字表親上訓練的策略通常可以匹配，甚至優(yōu)于數(shù)字孿生的表現(xiàn)。 2、隨著測試環(huán)境與訓練環(huán)境差異的增大，數(shù)字表親訓練的策略展現(xiàn)出更強的魯棒性。
3、簡單的領域隨機化（All Assets）策略效果較差，說明"數(shù)字表親"方法的優(yōu)勢。

這些結果證實了數(shù)字表親在保持分布內(nèi)性能的同時，還能提供更好的分布外泛化能力。
sim2real策略遷移
研究團隊進行了深入的實驗評估，比較了基于數(shù)字孿生和數(shù)字表親的策略在真實世界中的零樣本表現(xiàn)。實驗任務設定為開啟宜家柜門，以成功率作為關鍵評估指標。

為確保結果的可靠性，模擬環(huán)境中進行了超過50次的測試，而在真實環(huán)境中則完成了20多次的驗證。

real2sim2real全流程驗證
在機器人學習領域，無論采用數(shù)字孿生還是數(shù)字表親技術，最終的檢驗標準始終是真實世界的應用表現(xiàn)?；谶@一理念，研究團隊在實驗的收官階段選擇了一個未經(jīng)預設的真實廚房環(huán)境，對ACDC的完整流程和自動化策略學習框架進行了全面的端到端測試。
經(jīng)過在數(shù)字表親環(huán)境中的針對性訓練后，機器人成功完成了開啟廚房櫥柜的任務，有力證明了ACDC方法在真實場景中的適用性和有效性。為了直觀展示這一突破，研究團隊提供了一個演示視頻，展示了數(shù)字表親的全自動生成過程。

實驗證明，零樣本從模擬到現(xiàn)實（sim2real）的策略遷移實驗取得了顯著成果。僅僅依靠從四個生成的數(shù)字表親中學習的策略，就能直接應用于相應的真實廚房場景，實現(xiàn)了無縫遷移。

基于數(shù)字表親訓練的策略展現(xiàn)出了多方面的優(yōu)勢：首先，在原始分布上，其性能與基于數(shù)字孿生訓練的策略相當；其次，在面對分布外場景時，表現(xiàn)出了更強的適應能力和魯棒性；最后，也是最關鍵的，這些策略成功實現(xiàn)了從模擬到現(xiàn)實的零樣本遷移，無需額外調(diào)整就能在真實環(huán)境中有效運作。
這些成果不僅驗證了ACDC方法的實用價值，還為機器人學習在復雜、多變的真實環(huán)境中的應用開辟了新的可能性。
▍結論與展望
通過一系列全面的實驗，李飛飛教授團隊的研究得出了以下重要結論：
1、ACDC能夠快速、自動地生成與單張真實世界RGB圖像對應的交互式數(shù)字表親場景。
2、在數(shù)字表親上訓練的策略展現(xiàn)出更強的魯棒性，特別是在分布外場景中。
3、數(shù)字表親訓練的策略在領域內(nèi)性能上與數(shù)字孿生相當，但在領域外泛化能力上表現(xiàn)更優(yōu)。
4、數(shù)字表親方法實現(xiàn)了高效的零樣本sim2real策略遷移。

然而，研究團隊也指出了當前方法存在的一些局限性，如在處理高頻深度信息、遮擋物體和特殊語義類別時可能遇到困難。這些問題為未來的研究指明了方向。

總體來說，李飛飛教授團隊提出的“數(shù)字表親”技術為機器人學習領域帶來了新的思路。這項技術不僅對學術研究具有重要意義，也為機器人技術的實際應用開辟了新的可能性。業(yè)界將繼續(xù)關注這一技術的發(fā)展，期待它帶來更多創(chuàng)新和突破。