個(gè)人網(wǎng)站設(shè)計(jì)成首頁網(wǎng)絡(luò)營銷的實(shí)現(xiàn)方式
AI視野·今日CS.Robotics 機(jī)器人學(xué)論文速覽
Fri, 29 Sep 2023
Totally 38 papers
👉上期速覽?更多精彩請(qǐng)移步主頁
Interesting:
📚NCF,基于Neural Contact Fields神經(jīng)接觸場(chǎng)的方法實(shí)現(xiàn)有效的外部接觸估計(jì)和插入操作。 (from FAIR )
操作插入處理結(jié)果：
📚Laboratory Automation, 基于觸覺的精細(xì)操作用于自適應(yīng)孔板插入，實(shí)現(xiàn)化學(xué)實(shí)驗(yàn)自動(dòng)化。(from MIT)
website:
https://drive.google.com/file/d/1UxyJ3XIxqXPnHcpfw-PYs5T5oYQxoc6i/view?usp=sharing
Daily Robotics Papers
| HyperPPO: A scalable method for finding small policies for robotic control Authors Shashank Hegde, Zhehui Huang, Gaurav S. Sukhatme 對(duì)于內(nèi)存有限的高性能機(jī)器人的神經(jīng)控制來說，參數(shù)較少的模型是必要的。找到這些較小的神經(jīng)網(wǎng)絡(luò)架構(gòu)可能非常耗時(shí)。我們提出了 HyperPPO，一種策略強(qiáng)化學(xué)習(xí)算法，利用圖超網(wǎng)絡(luò)同時(shí)估計(jì)多個(gè)神經(jīng)架構(gòu)的權(quán)重。我們的方法估計(jì)的網(wǎng)絡(luò)權(quán)重比常用網(wǎng)絡(luò)小得多，但編碼高性能策略。我們同時(shí)獲得多個(gè)經(jīng)過訓(xùn)練的策略，同時(shí)保持樣本效率，并為用戶提供選擇滿足其計(jì)算約束的網(wǎng)絡(luò)架構(gòu)的選擇。我們表明，我們的方法可以很好地?cái)U(kuò)展更多的訓(xùn)練資源，從而更快地收斂到更高性能的架構(gòu)。我們證明了 HyperPPO 估計(jì)的神經(jīng)策略能夠?qū)?Crazyflie2.1 四旋翼飛行器進(jìn)行分散控制。 |
| Perceiving Extrinsic Contacts from Touch Improves Learning Insertion Policies Authors Carolina Higuera, Joseph Ortiz, Haozhi Qi, Luis Pineda, Byron Boots, Mustafa Mukadam 諸如對(duì)象插入之類的機(jī)器人操作任務(wù)通常涉及對(duì)象與環(huán)境之間的交互，即外部接觸。神經(jīng)接觸場(chǎng)的先前工作 NCF 使用夾具和物體之間的內(nèi)在觸覺感知來估計(jì)模擬中的外在接觸。 |
| ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning Authors Qiao Gu, Alihusein Kuwajerwala, Sacha Morin, Krishna Murthy Jatavallabhula, Bipasha Sen, Aditya Agarwal, Corban Rivera, William Paul, Kirsty Ellis, Rama Chellappa, Chuang Gan, Celso Miguel de Melo, Joshua B. Tenenbaum, Antonio Torralba, Florian Shkurti, Liam Paull 為了使機(jī)器人能夠執(zhí)行各種任務(wù)，它們需要對(duì)世界進(jìn)行 3D 表示，該表示在語義上豐富，但緊湊且高效，以實(shí)現(xiàn)任務(wù)驅(qū)動(dòng)的感知和規(guī)劃。最近的方法嘗試?yán)么笮鸵曈X語言模型的特征來編碼 3D 表示中的語義。然而，這些方法往往會(huì)生成具有每點(diǎn)特征向量的地圖，這些地圖在較大的環(huán)境中不能很好地?cái)U(kuò)展，也不包含環(huán)境中實(shí)體之間的語義空間關(guān)系，而這對(duì)于下游規(guī)劃很有用。在這項(xiàng)工作中，我們提出了 ConceptGraphs，一種用于 3D 場(chǎng)景的開放詞匯圖結(jié)構(gòu)化表示。 ConceptGraphs 是通過利用 2D 基礎(chǔ)模型并通過多視圖關(guān)聯(lián)將其輸出融合到 3D 來構(gòu)建的。所得表示可推廣到新穎的語義類，無需收集大型 3D 數(shù)據(jù)集或微調(diào)模型。我們通過許多下游規(guī)劃任務(wù)演示了這種表示的實(shí)用性，這些任務(wù)通過抽象語言提示指定，并且需要對(duì)空間和語義概念進(jìn)行復(fù)雜的推理。 |
| Semantic Scene Difference Detection in Daily Life Patroling by Mobile Robots using Pre-Trained Large-Scale Vision-Language Model Authors Yoshiki Obinata, Kento Kawaharazuka, Naoaki Kanazawa, Naoya Yamaguchi, Naoto Tsukamoto, Iori Yanokura, Shingo Kitagawa, Koki Shinjo, Kei Okada, Masayuki Inaba 對(duì)于日常生活支持機(jī)器人來說，檢測(cè)環(huán)境的變化并執(zhí)行任務(wù)非常重要。在計(jì)算機(jī)視覺的異常檢測(cè)領(lǐng)域，概率論和深度學(xué)習(xí)方法已被用來計(jì)算圖像距離。這些方法通過關(guān)注圖像像素來計(jì)算距離。相比之下，本研究旨在利用當(dāng)前開發(fā)的大規(guī)模視覺語言模型來檢測(cè)日常生活環(huán)境中的語義變化。利用其視覺問答 VQA 模型，我們提出了一種通過對(duì)參考圖像和當(dāng)前圖像應(yīng)用多個(gè)問題并以句子形式獲得答案來檢測(cè)語義變化的方法。與異常檢測(cè)中基于深度學(xué)習(xí)的方法不同，該方法不需要任何訓(xùn)練或微調(diào)，不受噪聲影響，并且對(duì)現(xiàn)實(shí)世界中的語義狀態(tài)變化敏感。在我們的實(shí)驗(yàn)中，我們通過使用移動(dòng)機(jī)器人 Fetch Mobile Manipulator 將其應(yīng)用于現(xiàn)實(shí)生活環(huán)境中的巡邏任務(wù)，證明了該方法的有效性。 |
| Active SLAM Utility Function Exploiting Path Entropy Authors Muhammad Farhan Ahmed, Vincent Fr mont, Isabelle Fantoni 在本文中，我們提出了主動(dòng) SLAM 的效用函數(shù) SLAM，它利用地圖熵和 D 最優(yōu)性標(biāo)準(zhǔn)度量來加權(quán)目標(biāo)邊界候選。我們提出了一種用于前沿目標(biāo)選擇的效用函數(shù)，該函數(shù)通過利用路徑熵來利用占用網(wǎng)格地圖，并有利于未知地圖位置以獲得最大區(qū)域覆蓋，同時(shí)保持較低的定位和映射不確定性。我們使用環(huán)境探索任務(wù)的各種圖連接矩陣和地圖效率指數(shù)來量化我們方法的效率。 |
| db-CBS: Discontinuity-Bounded Conflict-Based Search for Multi-Robot Kinodynamic Motion Planning Authors Akmaral Moldagalieva, Joaquim Ortiz Haro, Marc Toussaint, Wolfgang H nig 本文提出了一種多機(jī)器人運(yùn)動(dòng)動(dòng)力學(xué)運(yùn)動(dòng)規(guī)劃器，使具有不同動(dòng)力學(xué)、驅(qū)動(dòng)極限和形狀的機(jī)器人團(tuán)隊(duì)能夠在具有挑戰(zhàn)性的環(huán)境中實(shí)現(xiàn)其目標(biāo)。我們通過結(jié)合基于沖突的搜索 CBS（一種多智能體路徑查找方法）和不連續(xù)性有界 A（單個(gè)機(jī)器人運(yùn)動(dòng)動(dòng)力學(xué)運(yùn)動(dòng)規(guī)劃器）來解決這個(gè)問題。我們的方法 db CBS 在三個(gè)級(jí)別上運(yùn)行。最初，我們使用圖形搜索來計(jì)算單個(gè)機(jī)器人的軌跡，該搜索允許預(yù)先計(jì)算的運(yùn)動(dòng)基元之間存在有界的不連續(xù)性。第二層識(shí)別機(jī)器人之間的碰撞，并通過對(duì)第一層施加約束來解決它們。第三級(jí)也是最后一級(jí)使用具有不連續(xù)性的結(jié)果解決方案作為關(guān)節(jié)空間軌跡優(yōu)化的初始猜測(cè)。以減少的不連續(xù)范圍重復(fù)該過程。我們的方法是隨時(shí)、概率完整、漸近最優(yōu)的，并且可以快速找到接近最優(yōu)的解決方案。 |
| QwenGrasp: A Usage of Large Vision Language Model for Target-oriented Grasping Authors Xinyu Chen, Jian Yang, Zonghan He, Haobin Yang, Qi Zhao, Yuhui Shi 機(jī)器人系統(tǒng)理解人類語言并執(zhí)行抓取動(dòng)作的能力是機(jī)器人領(lǐng)域的一個(gè)關(guān)鍵挑戰(zhàn)。在面向目標(biāo)的抓取中，先前的研究實(shí)現(xiàn)了人類文本命令與目標(biāo)物體圖像的匹配。然而，這些作品很難理解復(fù)雜或靈活的指令。此外，這些作品缺乏自主評(píng)估指令可行性的能力，導(dǎo)致即使沒有目標(biāo)物體也盲目執(zhí)行抓取任務(wù)。在本文中，我們介紹了一種名為 QwenGrasp 的組合模型，它將大型視覺語言模型與 6 DoF 抓取網(wǎng)絡(luò)相結(jié)合。通過利用預(yù)先訓(xùn)練的大型視覺語言模型，我們的方法能夠在具有自然人類語言環(huán)境的開放世界中工作，接受復(fù)雜而靈活的指令。此外，專門的抓取網(wǎng)絡(luò)確保了生成的抓取姿勢(shì)的有效性。在現(xiàn)實(shí)世界環(huán)境中進(jìn)行的一系列實(shí)驗(yàn)表明，我們的方法表現(xiàn)出理解人類意圖的卓越能力。 |
| Intrinsic Language-Guided Exploration for Complex Long-Horizon Robotic Manipulation Tasks Authors Eleftherios Triantafyllidis, Filippos Christianos, Zhibin Li 當(dāng)前的強(qiáng)化學(xué)習(xí)算法在稀疏和復(fù)雜的環(huán)境中舉步維艱，尤其是在需要大量不同序列的長范圍操作任務(wù)中。在這項(xiàng)工作中，我們提出了大型語言模型 IGE LLM 框架的本質(zhì)引導(dǎo)探索。通過利用法學(xué)碩士作為輔助內(nèi)在獎(jiǎng)勵(lì)，IGE 法學(xué)碩士指導(dǎo)強(qiáng)化學(xué)習(xí)的探索過程，以解決復(fù)雜的長視野和稀疏獎(jiǎng)勵(lì)的機(jī)器人操作任務(wù)。我們?cè)诔錆M探索挑戰(zhàn)的環(huán)境以及受到探索和長期視野挑戰(zhàn)的復(fù)雜機(jī)器人操作任務(wù)中評(píng)估我們的框架和相關(guān)的內(nèi)在學(xué)習(xí)方法。結(jié)果表明，IGE LLM i 比相關(guān)內(nèi)在方法和在決策中直接使用 LLM 表現(xiàn)出明顯更高的性能，ii 可以組合并補(bǔ)充現(xiàn)有的學(xué)習(xí)方法，突出其模塊化性，iii 對(duì)不同的內(nèi)在縮放參數(shù)相當(dāng)不敏感，iv 保持魯棒性 |
| Online Estimation of Articulated Objects with Factor Graphs using Vision and Proprioceptive Sensing Authors Russell Buchanan, Adrian R fer, Jo o Moura, Abhinav Valada, Sethu Vijayakumar 從洗碗機(jī)到櫥柜，人類每天都會(huì)與鉸接物體互動(dòng)，而對(duì)于協(xié)助完成常見操作任務(wù)的機(jī)器人來說，它必須學(xué)習(xí)鉸接的表示。最近的深度學(xué)習(xí)方法可以根據(jù)先前（可能是模擬的）經(jīng)驗(yàn)中鉸接對(duì)象的可供性，提供基于先驗(yàn)的強(qiáng)大視覺。相比之下，許多作品通過觀察運(yùn)動(dòng)中的物體來估計(jì)關(guān)節(jié)，要求機(jī)器人已經(jīng)與物體進(jìn)行交互。在這項(xiàng)工作中，我們建議通過引入一種在線估計(jì)方法來利用兩全其美的方法，該方法將神經(jīng)網(wǎng)絡(luò)中基于視覺的可供性預(yù)測(cè)與分析模型中的交互式運(yùn)動(dòng)傳感相結(jié)合。我們的工作的優(yōu)點(diǎn)是在觸摸物體之前使用視覺來預(yù)測(cè)關(guān)節(jié)模型，同時(shí)還能夠在交互過程中通過運(yùn)動(dòng)感測(cè)快速更新模型。在本文中，我們使用共享自主權(quán)來實(shí)現(xiàn)一個(gè)完整的系統(tǒng)，用于機(jī)器人打開鉸接物體，特別是僅從視覺中看不到鉸接的物體。我們?cè)谡鎸?shí)的機(jī)器人上實(shí)現(xiàn)了我們的系統(tǒng)，并進(jìn)行了幾次自主閉環(huán)實(shí)驗(yàn)，其中機(jī)器人必須打開一扇未知關(guān)節(jié)的門，同時(shí)在線估計(jì)關(guān)節(jié)。 |
| CasIL: Cognizing and Imitating Skills via a Dual Cognition-Action Architecture Authors Zixuan Chen, Ze Ji, Shuyang Liu, Jing Huo, Yiyu Chen, Yang Gao 讓機(jī)器人能夠有效地模仿長期任務(wù)（如運(yùn)動(dòng)、操縱等）的專業(yè)技能，是一個(gè)長期存在的挑戰(zhàn)?，F(xiàn)有的機(jī)器人模仿學(xué)習(xí) IL 方法仍然難以在復(fù)雜任務(wù)中實(shí)現(xiàn)次優(yōu)性能。在本文中，我們考慮如何在人類認(rèn)知先驗(yàn)的范圍內(nèi)解決這一挑戰(zhàn)。啟發(fā)式地，我們通過引入直觀的人類認(rèn)知先驗(yàn)，將通常的動(dòng)作概念擴(kuò)展到雙認(rèn)知高級(jí)動(dòng)作低級(jí)架構(gòu)，并通過人類機(jī)器人交互提出一種新穎的技能IL框架，稱為基于認(rèn)知?jiǎng)幼鞯募寄苣７聦W(xué)習(xí)CasIL，用于機(jī)器人代理可以有效地認(rèn)知和模仿原始視覺演示中的關(guān)鍵技能。 CasIL 支持認(rèn)知和動(dòng)作模仿，而高水平技能認(rèn)知明確指導(dǎo)低水平原始動(dòng)作，為整個(gè)技能 IL 過程提供穩(wěn)健性和可靠性。我們?cè)?MuJoCo 和 RLBench 基準(zhǔn)測(cè)試以及四足機(jī)器人運(yùn)動(dòng)的避障和點(diǎn)目標(biāo)導(dǎo)航任務(wù)上評(píng)估了我們的方法。 |
| DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models Authors Licheng Wen, Daocheng Fu, Xin Li, Xinyu Cai, Tao Ma, Pinlong Cai, Min Dou, Botian Shi, Liang He, Yu Qiao 自動(dòng)駕駛的最新進(jìn)展依賴于數(shù)據(jù)驅(qū)動(dòng)的方法，這些方法被廣泛采用，但面臨著數(shù)據(jù)集偏差、過度擬合和不可解釋性等挑戰(zhàn)。從人類駕駛的知識(shí)驅(qū)動(dòng)本質(zhì)中汲取靈感，我們探索了如何將類似的功能注入自動(dòng)駕駛系統(tǒng)的問題，并總結(jié)了一個(gè)集成交互環(huán)境、駕駛員代理和記憶組件的范例來解決這個(gè)問題。利用具有涌現(xiàn)能力的大型語言模型，我們提出了DiLu框架，該框架結(jié)合了推理和反射模塊，使系統(tǒng)能夠基于常識(shí)知識(shí)進(jìn)行決策并不斷發(fā)展。大量的實(shí)驗(yàn)證明了DiLu具有積累經(jīng)驗(yàn)的能力，并且在泛化能力上比基于強(qiáng)化學(xué)習(xí)的方法具有顯著的優(yōu)勢(shì)。此外，DiLu能夠直接從現(xiàn)實(shí)世界的數(shù)據(jù)集中獲取經(jīng)驗(yàn)，這凸顯了其部署在實(shí)際自動(dòng)駕駛系統(tǒng)上的潛力。 |
| GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects Authors Qiaojun Yu, Junbo Wang, Wenhai Liu, Ce Hao, Liu Liu, Lin Shao, Weiming Wang, Cewu Lu 櫥柜和門等鉸接式物體在日常生活中很常見。然而，直接操縱 3D 關(guān)節(jié)對(duì)象具有挑戰(zhàn)性，因?yàn)樗鼈兙哂胁煌膸缀涡螤?、語義類別和動(dòng)力學(xué)約束。之前的工作主要集中在識(shí)別和操縱具有特定關(guān)節(jié)類型的鉸接物體。他們可以估計(jì)關(guān)節(jié)參數(shù)或區(qū)分合適的抓取姿勢(shì)以促進(jìn)軌跡規(guī)劃。盡管這些方法在某些類型的鉸接物體上取得了成功，但它們?nèi)狈?duì)看不見的物體的通用性，這極大地阻礙了它們?cè)诟鼜V泛的場(chǎng)景中的應(yīng)用。在本文中，我們提出了一種針對(duì)關(guān)節(jié)對(duì)象的通用關(guān)節(jié)建模和操縱的新穎框架 GAMMA，它從不同類別的各種關(guān)節(jié)對(duì)象中學(xué)習(xí)關(guān)節(jié)建模和掌握姿勢(shì)可供性。此外，GAMMA采用自適應(yīng)操縱來迭代減少建模誤差并增強(qiáng)操縱性能。我們使用 PartNet Mobility 數(shù)據(jù)集訓(xùn)練 GAMMA，并通過 SAPIEN 模擬和現(xiàn)實(shí)世界 Franka 機(jī)器人手臂的綜合實(shí)驗(yàn)進(jìn)行評(píng)估。結(jié)果表明，在看不見的跨類別關(guān)節(jié)對(duì)象中，GAMMA 顯著優(yōu)于 SOTA 關(guān)節(jié)建模和操作算法。我們將開源模擬機(jī)器人和真實(shí)機(jī)器人中的所有代碼和數(shù)據(jù)集，以便在最終版本中重現(xiàn)。 |
| Off-the-shelf bin picking workcell with visual pose estimation: A case study on the world robot summit 2018 kitting task Authors Frederik Hagelskj r, Kasper H j Lorenzen, Dirk Kraft 2018 年世界機(jī)器人峰會(huì)裝配挑戰(zhàn)賽包括四項(xiàng)不同的任務(wù)。配套任務(wù)需要分箱揀選，是獲得分?jǐn)?shù)最少的任務(wù)。然而，垃圾箱揀選是一項(xiàng)至關(guān)重要的技能，可以顯著提高機(jī)器人設(shè)置的靈活性，因此是一個(gè)重要的研究領(lǐng)域。近年來，傳感器技術(shù)和姿態(tài)估計(jì)算法取得了進(jìn)步。 |
| Sensorless Physical Human-robot Interaction Using Deep-Learning Authors Shilin Shan, Quang Cuong Pham 幾十年來，物理人機(jī)交互一直是人們感興趣的領(lǐng)域。協(xié)作任務(wù)（例如關(guān)節(jié)順應(yīng)性）需要高質(zhì)量的關(guān)節(jié)扭矩傳感。雖然外部扭矩傳感器很可靠，但它們也存在價(jià)格昂貴且容易受到?jīng)_擊的缺點(diǎn)。為了解決這些問題，人們進(jìn)行了研究，僅使用內(nèi)部信號(hào)（例如關(guān)節(jié)狀態(tài)和電流測(cè)量值）來估計(jì)外部扭矩。然而，對(duì)摩擦滯后近似的關(guān)注還不夠，這對(duì)于涉及廣泛的動(dòng)態(tài)到靜態(tài)轉(zhuǎn)換的任務(wù)至關(guān)重要。在本文中，我們提出了一種基于深度學(xué)習(xí)的方法，利用新穎的長期記憶方案來實(shí)現(xiàn)動(dòng)態(tài)識(shí)別，準(zhǔn)確地逼近靜態(tài)滯后。我們還對(duì)眾所周知的殘差學(xué)習(xí)架構(gòu)進(jìn)行了修改，在保持高精度的同時(shí)減少推理時(shí)間。 |
| Laboratory Automation: Precision Insertion with Adaptive Fingers utilizing Contact through Sliding with Tactile-based Pose Estimation Authors Sameer Pai, Kuniyuki Takahashi, Shimpei Masuda, Naoki Fukaya, Koki Yamane, Avinash Ummadisingu 微孔板是化學(xué)和生物實(shí)驗(yàn)中常用的設(shè)備，其厚度為幾厘米，其中有孔。我們要解決的任務(wù)是將它們放置在帶有幾毫米高凹槽的孔板支架上。我們的插入任務(wù)有以下幾個(gè)方面： 1 孔板和孔板支架的位置和姿態(tài)的檢測(cè)存在不確定性， 2 所需的精度在毫米到亞毫米的數(shù)量級(jí)， 3 孔板支架未緊固，并受外力移動(dòng)，4槽淺，5槽寬度小。為了解決這些挑戰(zhàn)，我們開發(fā)了一種自適應(yīng)手指夾持器，可以精確檢測(cè)手指位置，用于 1 , b 使用觸覺傳感器估計(jì)抓取物體的姿態(tài)，用于 1 , c 一種通過滑動(dòng)孔板同時(shí)保持接觸來將孔板插入目標(biāo)支架的方法2 4 與保持器的邊緣，并估計(jì)邊緣的方向并對(duì)齊孔板，使得保持器在與 5 的邊緣保持接觸時(shí)不會(huì)移動(dòng)。 |
| Learning to Terminate in Object Navigation Authors Yuhang Song, Anh Nguyen, Chun Yi Lee 本文解決了自主導(dǎo)航系統(tǒng)中目標(biāo)導(dǎo)航的關(guān)鍵挑戰(zhàn)，特別關(guān)注基于深度強(qiáng)化學(xué)習(xí) DRL 的方法中具有長最佳情節(jié)長度的環(huán)境中的目標(biāo)接近和情節(jié)終止問題。雖然傳統(tǒng)的 DRL 方法在環(huán)境探索和對(duì)象定位方面有效，但由于缺乏深度信息，常常難以實(shí)現(xiàn)最佳路徑規(guī)劃和終止識(shí)別。為了克服這些限制，我們提出了一種新穎的方法，即深度推理終止代理 DITA，它結(jié)合了稱為判斷模型的監(jiān)督模型來隱式推斷對(duì)象深度并與強(qiáng)化學(xué)習(xí)聯(lián)合決定終止。我們并行訓(xùn)練我們的判斷模型和強(qiáng)化學(xué)習(xí)，并通過獎(jiǎng)勵(lì)信號(hào)有效地監(jiān)督前者。我們的評(píng)估表明，該方法表現(xiàn)出卓越的性能，在所有房間類型中，我們的成功率比基準(zhǔn)方法提高了 9.3，在長劇集環(huán)境中獲得了 51.2 的改進(jìn)，同時(shí)保持了稍微更好的按路徑長度 SPL 加權(quán)的成功率。 |
| D$^3$Fields: Dynamic 3D Descriptor Fields for Zero-Shot Generalizable Robotic Manipulation Authors Yixuan Wang, Zhuoran Li, Mingtong Zhang, Katherine Driggs Campbell, Jiajun Wu, Li Fei Fei, Yunzhu Li 場(chǎng)景表示一直是機(jī)器人操縱系統(tǒng)中至關(guān)重要的設(shè)計(jì)選擇。理想的表示應(yīng)該是 3D、動(dòng)態(tài)和語義的，以滿足不同操作任務(wù)的需求。然而，以前的作品往往同時(shí)缺乏這三個(gè)屬性。在這項(xiàng)工作中，我們引入了 D 3 Fields 動(dòng)態(tài) 3D 描述符字段。這些字段捕獲底層 3D 環(huán)境的動(dòng)態(tài)并對(duì)語義特征和實(shí)例掩碼進(jìn)行編碼。具體來說，我們將工作空間中的任意 3D 點(diǎn)投影到多視圖 2D 視覺觀察上，并插入從基礎(chǔ)模型派生的特征。由此產(chǎn)生的融合描述符字段允許使用具有不同上下文、樣式和實(shí)例的 2D 圖像來實(shí)現(xiàn)靈活的目標(biāo)規(guī)范。為了評(píng)估這些描述符字段的有效性，我們以零樣本的方式將我們的表示應(yīng)用于廣泛的機(jī)器人操作任務(wù)。通過對(duì)現(xiàn)實(shí)世界場(chǎng)景和模擬的廣泛評(píng)估，我們證明了 D 3 場(chǎng)對(duì)于零射擊機(jī)器人操作任務(wù)來說既可推廣又有效。 |
| Comparing Active Learning Performance Driven by Gaussian Processes or Bayesian Neural Networks for Constrained Trajectory Exploration Authors Sapphira Akins, Frances Zhu 自主能力不斷增強(qiáng)的機(jī)器人提高了我們的太空探索能力，特別是在原地探索和采樣方面，以代替人類探險(xiǎn)家。目前，人類駕駛機(jī)器人來實(shí)現(xiàn)科學(xué)目標(biāo)，但根據(jù)機(jī)器人的位置，人類操作員和機(jī)器人之間的信息交換和駕駛命令可能會(huì)導(dǎo)致任務(wù)完成的過度延遲。具有科學(xué)目標(biāo)和探索策略的自主機(jī)器人不會(huì)產(chǎn)生通信延遲，并且可以更快地完成任務(wù)。主動(dòng)學(xué)習(xí)算法提供了這種智能探索的能力，但底層模型結(jié)構(gòu)改變了主動(dòng)學(xué)習(xí)算法在準(zhǔn)確形成對(duì)環(huán)境的理解方面的性能。在本文中，我們研究了由高斯過程或貝葉斯神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的主動(dòng)學(xué)習(xí)算法之間的性能差異，用于在軌跡受限的代理（例如行星表面漫游者）上編碼的探索策略。這兩種主動(dòng)學(xué)習(xí)策略在模擬環(huán)境中與科學(xué)盲策略進(jìn)行了測(cè)試，以預(yù)測(cè)感興趣的變量沿多個(gè)數(shù)據(jù)集的空間分布。感興趣的性能指標(biāo)包括均方根 RMS 誤差的模型精度、訓(xùn)練時(shí)間、模型收斂、收斂之前的總行駛距離以及收斂之前的樣本總數(shù)。用高斯過程編碼的主動(dòng)學(xué)習(xí)策略需要更少的計(jì)算來訓(xùn)練，更快地收斂到準(zhǔn)確的模型，并提出更短距離的軌跡，除了在一些復(fù)雜的環(huán)境中，貝葉斯神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)范圍內(nèi)實(shí)現(xiàn)更準(zhǔn)確的模型，因?yàn)榈剿麄兏弑憩F(xiàn)力的功能基礎(chǔ)。 |
| Stackelberg Game-Theoretic Trajectory Guidance for Multi-Robot Systems with Koopman Operator Authors Yuhan Zhao, Quanyan Zhu 引導(dǎo)軌跡規(guī)劃涉及領(lǐng)導(dǎo)者機(jī)器人代理戰(zhàn)略性地指導(dǎo)跟隨者機(jī)器人代理協(xié)作到達(dá)指定目的地。然而，當(dāng)領(lǐng)導(dǎo)者缺乏對(duì)追隨者決策模型的完整了解時(shí)，這項(xiàng)任務(wù)就變得非常具有挑戰(zhàn)性。需要基于學(xué)習(xí)的方法來有效地設(shè)計(jì)合作計(jì)劃。為此，我們開發(fā)了一種基于 Koopman 算子的 Stackelberg 博弈論方法來應(yīng)對(duì)這一挑戰(zhàn)。我們首先通過動(dòng)態(tài) Stackelberg 博弈的視角制定引導(dǎo)軌跡規(guī)劃問題。然后，我們利用庫普曼算子理論來獲取基于學(xué)習(xí)的線性系統(tǒng)模型，該模型近似跟隨者的反饋動(dòng)態(tài)?；谶@個(gè)學(xué)習(xí)模型，領(lǐng)導(dǎo)者采用后退地平線規(guī)劃設(shè)計(jì)一條無碰撞軌跡來引導(dǎo)跟隨者。我們使用模擬來闡述我們的方法在生成學(xué)習(xí)模型方面的有效性，與其他學(xué)習(xí)技術(shù)相比，該模型可以準(zhǔn)確預(yù)測(cè)追隨者的多步驟行為。 |
| Differentiable Robot Neural Distance Function for Adaptive Grasp Synthesis on a Unified Robotic Arm-Hand System Authors Yiting Chen, Xiao Gao, Kunpeng Yao, Lo c Niederhauser, Yasemin Bekiroglu, Aude Billard 抓取是機(jī)器人與環(huán)境交互的一項(xiàng)基本技能。雖然抓取執(zhí)行需要手和手臂的協(xié)調(diào)運(yùn)動(dòng)以實(shí)現(xiàn)無碰撞和安全的抓握，但許多抓取綜合研究獨(dú)立地解決手臂和手的運(yùn)動(dòng)規(guī)劃，導(dǎo)致在實(shí)際環(huán)境中可能無法實(shí)現(xiàn)抓取。確定集成手臂配置的挑戰(zhàn)源于其計(jì)算復(fù)雜性和高維性質(zhì)。我們通過提出一種新穎的可微機(jī)器人神經(jīng)距離函數(shù)來解決這一挑戰(zhàn)。我們的方法擅長捕獲各種關(guān)節(jié)配置的復(fù)雜幾何形狀，同時(shí)保持可微性。事實(shí)證明，這種創(chuàng)新的表示方式有助于有效解決具有嚴(yán)格接觸限制的下游任務(wù)。利用這一點(diǎn)，我們引入了一種自適應(yīng)抓取合成框架，該框架充分利用統(tǒng)一手臂手系統(tǒng)的潛力來完成各種抓取任務(wù)。與基線方法相比，我們的神經(jīng)關(guān)節(jié)空間距離函數(shù)的誤差減少了 84.7。我們?cè)诮y(tǒng)一機(jī)械臂手系統(tǒng)上驗(yàn)證了我們的方法，該系統(tǒng)由 7 DoF 機(jī)械臂和 16 DoF 多指機(jī)械手組成。 |
| A Modular Bio-inspired Robotic Hand with High Sensitivity Authors Chao Liu, Andrea Moncada, Hanna Matusik, Deniz Irem Erus, Daniela Rus 雖然平行夾持器和多指機(jī)器人手已得到很好的發(fā)展，并且在結(jié)構(gòu)化環(huán)境中普遍使用，但設(shè)計(jì)一種高度鉸接的機(jī)器人手，使其能夠與人手相媲美，以處理各種日常操作和抓取任務(wù)，仍然是機(jī)器人技術(shù)中的一個(gè)挑戰(zhàn)。靈活性通常需要更多的執(zhí)行器，但也會(huì)導(dǎo)致更復(fù)雜的機(jī)構(gòu)設(shè)計(jì)，并且制造和維護(hù)成本更高。軟材料在與物理世界交互時(shí)能夠提供合規(guī)性和安全性，但難以建模。這項(xiàng)工作提出了一種混合生物啟發(fā)的機(jī)器人手，結(jié)合了軟物質(zhì)和剛性元素。傳感被集成到剛體中，從而提供了一種簡(jiǎn)單的高靈敏度姿態(tài)估計(jì)方法。所提出的手采用模塊化結(jié)構(gòu)，允許快速制造和編程。制造過程經(jīng)過精心設(shè)計(jì)，以便可以用低成本材料制造全手并以有效的方式組裝。 |
| Task-Oriented Koopman-Based Control with Contrastive Encoder Authors Xubo Lyu, Hanyang Hu, Seth Siriya, Ye Pu, Mo Chen 我們提出了面向任務(wù)的基于庫普曼的控制，它利用端到端強(qiáng)化學(xué)習(xí)和對(duì)比編碼器在迭代循環(huán)中同時(shí)學(xué)習(xí)庫普曼潛在嵌入、運(yùn)算符和相關(guān)線性控制器。 |
| Infer and Adapt: Bipedal Locomotion Reward Learning from Demonstrations via Inverse Reinforcement Learning Authors Feiyang Wu, Zhaoyuan Gu, Hanran Wu, Anqi Wu, Ye Zhao 由于機(jī)器人動(dòng)力學(xué)和交互環(huán)境的復(fù)雜性，讓雙足步行機(jī)器人學(xué)習(xí)如何在高度不平坦、動(dòng)態(tài)變化的地形上進(jìn)行機(jī)動(dòng)是一項(xiàng)挑戰(zhàn)。最近在演示學(xué)習(xí)方面取得的進(jìn)展已經(jīng)顯示出復(fù)雜環(huán)境中機(jī)器人學(xué)習(xí)的有希望的結(jié)果。雖然專家策略的模仿學(xué)習(xí)已經(jīng)得到了很好的探索，但學(xué)習(xí)專家獎(jiǎng)勵(lì)函數(shù)的研究在很大程度上還沒有在腿運(yùn)動(dòng)中得到探索。本文采用最先進(jìn)的逆強(qiáng)化學(xué)習(xí) IRL 技術(shù)來解決復(fù)雜地形上的雙足運(yùn)動(dòng)問題。我們提出了學(xué)習(xí)專家獎(jiǎng)勵(lì)函數(shù)的算法，然后我們分析了學(xué)習(xí)到的函數(shù)。通過非線性函數(shù)近似，我們發(fā)現(xiàn)了對(duì)專家運(yùn)動(dòng)策略的有意義的見解。 |
| WiDEVIEW: An UltraWideBand and Vision Dataset for Deciphering Pedestrian-Vehicle Interactions Authors Jia Huang, Alvika Gautam, Junghun Choi, Srikanth Saripalli 對(duì)行人和騎自行車者等道路使用者的穩(wěn)健、準(zhǔn)確的跟蹤和定位對(duì)于確保自動(dòng)駕駛汽車安全有效的導(dǎo)航至關(guān)重要，特別是在具有復(fù)雜車輛行人交互的城市駕駛場(chǎng)景中。可用于研究車輛行人交互的現(xiàn)有數(shù)據(jù)集大多以圖像為中心，因此容易受到視覺故障的影響。在本文中，我們研究超寬帶 UWB 作為道路使用者定位的附加模式，以便更好地理解車輛行人交互。我們推出了 WiDEVIEW，這是第一個(gè)集成 LiDAR、三個(gè) RGB 攝像頭、GPS IMU 和 UWB 傳感器的多模態(tài)數(shù)據(jù)集，用于捕獲城市自動(dòng)駕駛場(chǎng)景中的車輛行人交互。地面實(shí)況圖像注釋以 2D 邊界框的形式提供，并且數(shù)據(jù)集根據(jù)標(biāo)準(zhǔn) 2D 對(duì)象檢測(cè)和跟蹤算法進(jìn)行評(píng)估。使用 LiDAR 作為地面實(shí)況，在視距和非視距條件下的典型交通場(chǎng)景中評(píng)估了 UWB 的可行性。我們確定 UWB 距離數(shù)據(jù)的精度與 LiDAR 相當(dāng)，誤差為 0.19 米，并且在視線條件下可靠的錨標(biāo)簽距離數(shù)據(jù)可達(dá) 40 米。非視線條件下的 UWB 性能取決于障礙物樹木與建筑物的性質(zhì)。此外，我們還針對(duì)易受間歇性視力障礙影響的場(chǎng)景提供了 UWB 性能的定性分析。 |
| OceanChat: Piloting Autonomous Underwater Vehicles in Natural Language Authors Ruochu Yang, Mengxue Hou, Junkai Wang, Fumin Zhang 在融合大型語言模型法學(xué)碩士和機(jī)器人技術(shù)的趨勢(shì)研究中，我們的目標(biāo)是為人工智能系統(tǒng)的創(chuàng)新開發(fā)鋪平道路，使自主水下航行器AUV能夠以直觀的方式與人類無縫交互。我們提出了 OceanChat，這是一個(gè)利用閉環(huán) LLM 引導(dǎo)任務(wù)和運(yùn)動(dòng)規(guī)劃框架來解決野外 AUV 任務(wù)的系統(tǒng)。法學(xué)碩士將抽象的人類命令轉(zhuǎn)化為高級(jí)目標(biāo)，而任務(wù)規(guī)劃器進(jìn)一步將目標(biāo)轉(zhuǎn)化為具有邏輯約束的任務(wù)序列。為了幫助 AUV 理解任務(wù)序列，我們利用運(yùn)動(dòng)規(guī)劃器合并 AUV 接收到的實(shí)時(shí)拉格朗日數(shù)據(jù)流，從而將任務(wù)序列映射到可執(zhí)行的運(yùn)動(dòng)計(jì)劃?？紤]到水下環(huán)境的高度動(dòng)態(tài)和部分已知的性質(zhì)，開發(fā)了事件觸發(fā)的重新規(guī)劃方案以增強(qiáng)系統(tǒng)對(duì)不確定性的魯棒性。我們還構(gòu)建了一個(gè)模擬平臺(tái) HoloEco，可為各種 AUV 應(yīng)用生成逼真的模擬。實(shí)驗(yàn)評(píng)估驗(yàn)證了所提出的系統(tǒng)可以在成功率和計(jì)算時(shí)間方面實(shí)現(xiàn)改進(jìn)的性能。 |
| DynaCon: Dynamic Robot Planner with Contextual Awareness via LLMs Authors Gyeongmin Kim, Taehyeon Kim, Shyam Sundar Kannan, Vishnunandan L. N. Venkatesh, Donghan Kim, Byung Cheol Min 移動(dòng)機(jī)器人通常依靠預(yù)先存在的地圖來進(jìn)行有效的路徑規(guī)劃和導(dǎo)航。然而，當(dāng)這些地圖不可用時(shí)，特別是在不熟悉的環(huán)境中，就必須采用不同的方法。本文介紹了 DynaCon，這是一種新穎的系統(tǒng)，旨在為移動(dòng)機(jī)器人提供導(dǎo)航過程中的情境感知和動(dòng)態(tài)適應(yīng)性，從而消除對(duì)傳統(tǒng)地圖的依賴。 DynaCon 將實(shí)時(shí)反饋與對(duì)象服務(wù)器、提示工程和導(dǎo)航模塊集成在一起。通過利用大型語言模型 LLM 的功能，DynaCon 不僅可以理解給定數(shù)字序列中的模式，而且還擅長將對(duì)象分類到匹配的空間中。這有利于充滿情境意識(shí)的動(dòng)態(tài)路徑規(guī)劃器。我們通過一項(xiàng)實(shí)驗(yàn)驗(yàn)證了 DynaCon 的有效性，其中機(jī)器人使用推理成功導(dǎo)航到其目標(biāo)。 |
| Enabling Large-scale Heterogeneous Collaboration with Opportunistic Communications Authors Fernando Cladera, Zachary Ravichandran, Ian D. Miller, M. Ani Hsieh, C. J. Taylor, Vijay Kumar 在團(tuán)隊(duì)規(guī)模有限且沒有外部基礎(chǔ)設(shè)施的大規(guī)模環(huán)境中進(jìn)行多機(jī)器人協(xié)作具有挑戰(zhàn)性，因?yàn)橹С謴?fù)雜任務(wù)所需的軟件框架必須能夠應(yīng)對(duì)不可靠和間歇性的通信鏈路。在這項(xiàng)工作中，我們提出了用于異構(gòu)協(xié)作的 MOCHA 多機(jī)器人機(jī)會(huì)通信，這是一種彈性多機(jī)器人協(xié)作框架，可以在缺乏連續(xù)通信的情況下實(shí)現(xiàn)大規(guī)模探索。 MOCHA 基于八卦通信協(xié)議，該協(xié)議允許機(jī)器人在通信鏈路可用時(shí)進(jìn)行機(jī)會(huì)性交互，在點(diǎn)對(duì)點(diǎn)的基礎(chǔ)上傳播信息。我們通過使用商用現(xiàn)成 COTS 通信硬件進(jìn)行現(xiàn)實(shí)世界實(shí)驗(yàn)來演示 MOCHA 的性能。我們進(jìn)一步探索系統(tǒng)在模擬中的可擴(kuò)展性，隨著機(jī)器人數(shù)量的增加和通信范圍的變化評(píng)估我們的方法的性能。最后，我們演示了 MOCHA 如何與自主機(jī)器人的規(guī)劃堆棧緊密集成。我們展示了一種通信感知規(guī)劃算法，用于高空空中機(jī)器人執(zhí)行協(xié)作任務(wù)，同時(shí)最大化與地面機(jī)器人共享的信息量。 |
| Accelerating Motion Planning via Optimal Transport Authors An T. Le, Georgia Chalvatzaki, Armin Biess, Jan Peters 對(duì)于機(jī)器人、自動(dòng)駕駛等許多學(xué)科來說，運(yùn)動(dòng)規(guī)劃仍然是一個(gè)懸而未決的問題，因?yàn)橐?guī)劃時(shí)間長等問題阻礙了實(shí)時(shí)、高效的決策。一類致力于提供平滑解決方案的方法是基于梯度的軌跡優(yōu)化。然而，這些方法可能會(huì)受到不良局部最小值的影響，而對(duì)于許多設(shè)置，它們可能由于無法輕松訪問目標(biāo)梯度而不適用。針對(duì)這些問題，我們引入了通過最佳傳輸 MPOT 進(jìn)行運(yùn)動(dòng)規(guī)劃，這是一種無梯度方法，即使對(duì)于高維任務(wù)，也可以在高度非線性成本上優(yōu)化一批平滑軌跡，同時(shí)通過高斯過程動(dòng)力學(xué)先驗(yàn)通過規(guī)劃作為推理角度來施加平滑度。為了促進(jìn)批量軌跡優(yōu)化，我們引入了一種原始的零階和高度并行化的更新規(guī)則 Sinkhorn Step，它使用正則多面體族作為其搜索方向，每個(gè)正則多面體以軌跡路點(diǎn)為中心，充當(dāng)局部鄰域，有效地充當(dāng)信任區(qū)域，Sinkhorn Step 將當(dāng)?shù)芈窂近c(diǎn)運(yùn)送到低成本區(qū)域。我們從理論上證明，Sinkhorn Step 將優(yōu)化參數(shù)引導(dǎo)至非凸目標(biāo)函數(shù)上的局部最小值區(qū)域。 |
| Hybrid Volitional Control of a Robotic Transtibial Prosthesis using a Phase Variable Impedance Controller Authors Ryan R. Posh, Jonathan A. Tittle, David J. Kelly, James P. Schmiedeler, Patrick M. Wensing 對(duì)于機(jī)器人經(jīng)脛骨假體控制，脛骨的整體運(yùn)動(dòng)學(xué)可用于監(jiān)測(cè)步態(tài)周期的進(jìn)展并命令平滑和連續(xù)的驅(qū)動(dòng)。在這項(xiàng)工作中，這些全局脛骨運(yùn)動(dòng)學(xué)用于定義相位可變阻抗控制器 PVIC ，然后將其實(shí)現(xiàn)為混合意志控制框架 PVI HVC 內(nèi)的非意志基礎(chǔ)控制器。通過旁路適配器在機(jī)器人腳踝假肢上行走的一個(gè)身體健全的人的步態(tài)進(jìn)展估計(jì)和生物力學(xué)性能與三種控制方案（被動(dòng)基準(zhǔn)控制器、PVIC 和 PVI HVC）進(jìn)行了比較。每個(gè)控制器的不同驅(qū)動(dòng)對(duì)全局脛骨運(yùn)動(dòng)學(xué)有直接影響，但每個(gè)控制器的估計(jì)步態(tài)百分比與地面真實(shí)步態(tài)百分比之間的平均偏差分別為 1.6 、 1.8 和 2.1 。 PVIC 和 PVI HVC 都與健全的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)參考產(chǎn)生了良好的一致性。按照設(shè)計(jì)，當(dāng)用戶使用低意志意圖時(shí)，PVI HVC 結(jié)果與 PVIC 的結(jié)果相似，但當(dāng)用戶在后期姿勢(shì)命令高意志輸入時(shí)，會(huì)產(chǎn)生更高的峰值跖屈、峰值扭矩和峰值功率。這種額外的扭矩和功率還允許用戶自愿、連續(xù)地完成水平行走以外的活動(dòng)，例如上升坡道、避開障礙物、踮起腳尖站立和輕拍腳。 |
| Scalable Multi-Robot Collaboration with Large Language Models: Centralized or Decentralized Systems? Authors Yongchao Chen, Jacob Arkin, Yang Zhang, Nicholas Roy, Chuchu Fan 最近的一系列工作表明，預(yù)先訓(xùn)練的大型語言模型 LLM 可以成為各種單一機(jī)器人任務(wù)的有效任務(wù)規(guī)劃器。通過提示技術(shù)（例如上下文學(xué)習(xí)或狀態(tài)反饋重新提示），法學(xué)碩士的規(guī)劃績效得到顯著提高，從而使上下文窗口的代幣預(yù)算變得更加重要。一個(gè)尚未探索但自然的下一個(gè)方向是研究法學(xué)碩士作為多機(jī)器人任務(wù)規(guī)劃器。然而，長視野、異構(gòu)多機(jī)器人規(guī)劃帶來了新的協(xié)調(diào)挑戰(zhàn)，同時(shí)也突破了上下文窗口長度的限制。因此，找到代幣高效的法學(xué)碩士規(guī)劃框架至關(guān)重要，該框架還能夠推理多機(jī)器人協(xié)調(diào)的復(fù)雜性。在這項(xiàng)工作中，我們比較了四種多智能體通信框架（集中式、分散式和兩種混合式）的任務(wù)成功率和令牌效率，應(yīng)用于四種依賴于協(xié)調(diào)的多智能體 2D 任務(wù)場(chǎng)景（智能體數(shù)量不斷增加）。我們發(fā)現(xiàn)混合框架在所有四項(xiàng)任務(wù)中實(shí)現(xiàn)了更好的任務(wù)成功率，并且可以更好地?cái)U(kuò)展到更多代理。我們進(jìn)一步演示了 3D 模擬中的混合框架，其中考慮了視覺到文本問題和動(dòng)態(tài)誤差。 |
| Context-Aware Entity Grounding with Open-Vocabulary 3D Scene Graphs Authors Haonan Chang, Kowndinya Boyalakuntla, Shiyang Lu, Siwei Cai, Eric Jing, Shreesh Keskar, Shijie Geng, Adeeb Abbas, Lifeng Zhou, Kostas Bekris, Abdeslam Boularias 我們提出了一個(gè)開放詞匯 3D 場(chǎng)景圖 OVSG，這是一個(gè)正式框架，用于通過基于自由格式文本的查詢來支持各種實(shí)體，例如對(duì)象實(shí)例、代理和區(qū)域。與傳統(tǒng)的基于語義的對(duì)象定位方法不同，我們的系統(tǒng)促進(jìn)了上下文感知實(shí)體定位，允許進(jìn)行查詢，例如拿起廚房桌子上的杯子或?qū)Ш降侥橙俗纳嘲l(fā)。與現(xiàn)有的 3D 場(chǎng)景圖研究相比，OVSG 支持自由格式文本輸入和開放詞匯查詢。通過使用 ScanNet 數(shù)據(jù)集和自收集數(shù)據(jù)集的一系列比較實(shí)驗(yàn)，我們證明我們提出的方法顯著超越了以前基于語義的定位技術(shù)的性能。 |
| MotionLM: Multi-Agent Motion Forecasting as Language Modeling Authors Ari Seff, Brian Cera, Dian Chen, Mason Ng, Aurick Zhou, Nigamaa Nayakanti, Khaled S. Refaat, Rami Al Rfou, Benjamin Sapp 對(duì)道路代理未來行為的可靠預(yù)測(cè)是自動(dòng)駕駛車輛安全規(guī)劃的關(guān)鍵組成部分。在這里，我們將連續(xù)軌跡表示為離散運(yùn)動(dòng)標(biāo)記序列，并將多智能體運(yùn)動(dòng)預(yù)測(cè)作為該領(lǐng)域的語言建模任務(wù)。我們的模型 MotionLM 具有幾個(gè)優(yōu)點(diǎn)：首先，它不需要錨或顯式潛變量優(yōu)化來學(xué)習(xí)多模態(tài)分布。相反，我們利用單一標(biāo)準(zhǔn)語言建模目標(biāo)，最大化序列標(biāo)記的平均對(duì)數(shù)概率。其次，我們的方法繞過了事后交互啟發(fā)法，其中個(gè)體代理軌跡生成是在交互評(píng)分之前進(jìn)行的。相反，MotionLM 在單個(gè)自回歸解碼過程中生成交互式代理未來的聯(lián)合分布。此外，模型的順序分解可以實(shí)現(xiàn)臨時(shí)因果條件推出。 |
| HOI4ABOT: Human-Object Interaction Anticipation for Human Intention Reading Collaborative roBOTs Authors Esteve Valls Mascaro, Daniel Sliwowski, Dongheui Lee 機(jī)器人越來越融入我們的生活，協(xié)助我們完成各種任務(wù)。為了確保人類和機(jī)器人之間的有效協(xié)作，他們必須理解我們的意圖并預(yù)測(cè)我們的行動(dòng)。在本文中，我們提出了一種用于協(xié)作機(jī)器人的人機(jī)交互 HOI 預(yù)期框架。我們提出了一種高效且穩(wěn)健的基于 Transformer 的模型來檢測(cè)和預(yù)測(cè)視頻中的 HOI。這種增強(qiáng)的預(yù)期使機(jī)器人能夠主動(dòng)協(xié)助人類，從而實(shí)現(xiàn)更高效、更直觀的協(xié)作。我們的模型在 VidHOI 數(shù)據(jù)集中的 HOI 檢測(cè)和預(yù)測(cè)方面優(yōu)于最先進(jìn)的結(jié)果，mAP 分別增加了 1.76 和 1.04，同時(shí)速度提高了 15.4 倍。我們通過真實(shí)機(jī)器人的實(shí)驗(yàn)結(jié)果展示了我們方法的有效性，證明機(jī)器人預(yù)測(cè) HOI 的能力是更好的人機(jī)交互的關(guān)鍵。 |
| An Enhanced Low-Resolution Image Recognition Method for Traffic Environments Authors Zongcai Tan, Zhenhai Gao 目前，低分辨率圖像識(shí)別在智能交通感知領(lǐng)域面臨著重大挑戰(zhàn)。與高分辨率圖像相比，低分辨率圖像尺寸小、質(zhì)量低、缺乏細(xì)節(jié)，導(dǎo)致傳統(tǒng)神經(jīng)網(wǎng)絡(luò)識(shí)別算法的準(zhǔn)確率顯著下降。低分辨率圖像識(shí)別的關(guān)鍵在于有效的特征提取。因此，本文深入研究了殘差模塊的基本維度及其對(duì)特征提取和計(jì)算效率的影響?；趯?shí)驗(yàn)，我們引入了一種雙分支殘差網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)利用殘差網(wǎng)絡(luò)的基本架構(gòu)和通用特征子空間算法。此外，它還利用中間層特征來提高低分辨率圖像識(shí)別的準(zhǔn)確性。此外，我們采用知識(shí)蒸餾來減少網(wǎng)絡(luò)參數(shù)和計(jì)算開銷。 |
| A Comprehensive Review on Tree Detection Methods Using Point Cloud and Aerial Imagery from Unmanned Aerial Vehicles Authors Weijie Kuang, Hann Woei Ho, Ye Zhou, Shahrel Azmin Suandi, Farzad Ismail 無人機(jī)被認(rèn)為是尖端技術(shù)，具有極高的成本效益和靈活的使用場(chǎng)景。盡管許多論文對(duì)無人機(jī)在農(nóng)業(yè)中的應(yīng)用進(jìn)行了綜述，但對(duì)樹木檢測(cè)應(yīng)用的綜述仍然不足。本文重點(diǎn)研究應(yīng)用于無人機(jī)采集的無人機(jī)數(shù)據(jù)的樹木檢測(cè)方法。有兩種數(shù)據(jù)，點(diǎn)云和圖像，分別由光探測(cè)和測(cè)距激光雷達(dá)傳感器和相機(jī)獲取。在利用點(diǎn)云數(shù)據(jù)的檢測(cè)方法中，本文主要按照LiDAR和數(shù)字航空攝影DAP對(duì)這些方法進(jìn)行分類。對(duì)于直接使用圖像的檢測(cè)方法，本文通過是否使用深度學(xué)習(xí)DL方法來回顧這些方法。我們的綜述總結(jié)并分析了基于LiDAR和基于DAP的點(diǎn)云數(shù)據(jù)的應(yīng)用的比較和組合。還介紹了這些方法的性能、相對(duì)優(yōu)點(diǎn)和應(yīng)用領(lǐng)域。同時(shí)，本文還統(tǒng)計(jì)了近年來使用不同方法進(jìn)行的樹木檢測(cè)研究的數(shù)量。從我們的統(tǒng)計(jì)數(shù)據(jù)來看，到 2022 年，隨著基于 DL 的檢測(cè)研究數(shù)量增加到樹木檢測(cè)研究總數(shù)的 45 個(gè)，在圖像上使用 DL 方法的檢測(cè)任務(wù)已成為主流趨勢(shì)。因此，這篇綜述可以幫助和 |
| Leveraging Untrustworthy Commands for Multi-Robot Coordination in Unpredictable Environments: A Bandit Submodular Maximization Approach Authors Zirui Xu, Xiaofeng Lin, Vasileios Tzoumas 我們研究在不可預(yù)測(cè)和部分可觀察的環(huán)境中具有不可信外部命令的多代理協(xié)調(diào)問題。這些命令是向機(jī)器人建議的動(dòng)作，并且不可信，因?yàn)樗鼈兊男阅鼙ＷC（如果有）是未知的。此類命令可能由人類操作員或機(jī)器學(xué)習(xí)算法生成，盡管不可信，但通?？梢蕴岣邫C(jī)器人在復(fù)雜的多機(jī)器人任務(wù)中的性能。我們受到復(fù)雜的多機(jī)器人任務(wù)的激勵(lì)，例如目標(biāo)跟蹤、環(huán)境測(cè)繪和區(qū)域監(jiān)控。由于機(jī)器人之間的信息重疊，此類任務(wù)通常被建模為子模最大化問題。我們提供了一種算法，Meta Bandit Sequential Greedy MetaBSG，即使外部命令任意糟糕，它也能保證性能。 MetaBSG 利用元算法來學(xué)習(xí)機(jī)器人是否應(yīng)該遵循命令，或者利用最近開發(fā)的子模塊協(xié)調(diào)算法 Bandit Sequential Greedy BSG 1 ，即使在不可預(yù)測(cè)和部分可觀察的環(huán)境中，該算法也能保證性能。特別是，MetaBSG 漸進(jìn)地可以從命令和 BSG 算法中獲得更好的性能，事后根據(jù)最優(yōu)時(shí)變多機(jī)器人動(dòng)作量化其次優(yōu)性。因此，MetaBSG 可以被解釋為增強(qiáng)不可信命令的魯棒性。 |
| Symbolic Imitation Learning: From Black-Box to Explainable Driving Policies Authors Iman Sharifi, Saber Fallah 當(dāng)前的模仿學(xué)習(xí) IL 方法主要基于深度神經(jīng)網(wǎng)絡(luò)，為從現(xiàn)實(shí)世界數(shù)據(jù)中獲取駕駛策略提供了有效的手段，但在可解釋性和泛化性方面存在重大限制。這些缺點(diǎn)在自動(dòng)駕駛等安全關(guān)鍵應(yīng)用中尤其令人擔(dān)憂。在本文中，我們通過引入符號(hào)模仿學(xué)習(xí) SIL 來解決這些局限性，這是一種突破性的方法，采用歸納邏輯編程 ILP 來學(xué)習(xí)透明、可解釋且可從可用數(shù)據(jù)集中推廣的駕駛策略。利用現(xiàn)實(shí)世界的高維數(shù)據(jù)集，我們將我們的方法與流行的基于神經(jīng)網(wǎng)絡(luò)的 IL 方法進(jìn)行嚴(yán)格的比較分析。我們的結(jié)果表明，SIL 不僅增強(qiáng)了駕駛政策的可解釋性，而且還顯著提高了其在不同駕駛情況下的適用性。 |
| Model Predictive Planning: Towards Real-Time Multi-Trajectory Planning Around Obstacles Authors Matthew T. Wallace, Brett Streetman, Laurent Lessard 本文提出了一種稱為模型預(yù)測(cè)規(guī)劃 MPP 的運(yùn)動(dòng)規(guī)劃方案，旨在優(yōu)化穿過障礙物環(huán)境的軌跡。該方法涉及路徑規(guī)劃、通過二次規(guī)劃求解來細(xì)化軌跡以及實(shí)時(shí)選擇最佳軌跡。該論文重點(diǎn)介紹了三項(xiàng)技術(shù)創(chuàng)新：基于光線追蹤的軌跡細(xì)化路徑、該技術(shù)與多路徑規(guī)劃器的集成以克服局部極小值造成的困難，以及在軌跡優(yōu)化中實(shí)現(xiàn)時(shí)間尺度分離的方法。 |
| Chinese Abs From Machine Translation |
Papers from arxiv.org
更多精彩請(qǐng)移步主頁
pic from pexels.com