Where Should I Join? Robot Group Joining via Language-Guided Goal Prediction
作者: Zilin Fang, Zishuo Wang, Gim Hee Lee, David Hsu
分类: cs.RO, cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出语言引导的机器人群体加入方法以解决社交导航问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人群体加入 社交导航 语言引导 多模态学习 实时推理
📋 核心要点
- 现有社交导航方法通常假设目标明确，缺乏对动态群体活动的实时响应能力，导致机器人在群体加入时的表现不佳。
- 本文提出了一种基于语言的群体加入预测方法，通过识别目标群体成员并预测社会规范下的加入姿态来解决这一问题。
- 实验结果显示，该方法在多种场景下的加入姿态预测准确性显著高于基线，且推理时间低于一秒，具有良好的实时性。
📝 摘要（中文）
社交导航通常假设有一个指定目标，并专注于在遵循社交规范的同时到达该目标，而机器人群体加入则需要根据群体的实时活动和构成预测加入的位置。这是一项高度语义化的任务，对于机器人导盲犬和自主移动滑板车等应用至关重要。本文提出了一种语言引导的机器人群体加入方法：给定观察和目标群体的自然语言描述，机器人识别相关群体成员并预测符合社会规范的加入姿态。通过递归谱划分生成结构化候选子集，并利用语言条件的图像-几何模型对其进行排序。实验表明，该方法在加入姿态预测上优于所有基线，并在静态和动态交互中展示了实际的群体加入能力。
🔬 方法详解
问题定义：本文旨在解决机器人在动态社交场景中如何有效加入群体的问题。现有方法往往无法实时适应群体的变化，导致加入姿态不符合社交规范。
核心思路：提出一种语言引导的群体加入方法，通过自然语言描述和视觉信息结合，识别群体成员并预测合适的加入姿态，以实现更自然的社交互动。
技术框架：整体流程包括三个主要模块：首先，通过递归谱划分生成结构化候选子集；其次，利用语言条件的图像-几何模型对候选集进行排序；最后，基于人类形成先验生成多模态能量-方向图，预测可行的机器人姿态。
关键创新：本研究的创新在于将语言信息与视觉信息结合，形成了一种新的群体加入预测框架，显著提高了机器人在复杂社交场景中的适应能力。
关键设计：在模型设计中，采用了递归谱划分技术来生成候选子集，并通过语言条件的图像-几何模型进行排序，确保了加入姿态的社会合规性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在加入姿态预测上超越了所有基线，达到了竞争性的准确性，且推理时间低于一秒。具体而言，在不同场景下的实验中，模型的加入姿态预测准确率显著提高，展示了其在复杂社交场景中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在机器人导盲、社交机器人和自主移动设备等领域。通过提高机器人在动态社交环境中的适应能力，可以显著提升人机交互的自然性和有效性，未来可能对智能交通、服务机器人等行业产生深远影响。
📄 摘要（原文）
Social navigation typically assumes a specified goal and focuses on reaching it while respecting social conventions, whereas robot group joining requires predicting where to join based on the group's real-time activity and formation. This is a highly semantic task, yet an important capability for applications such as robotic guide dogs and autonomous mobility scooters. We formulate language-grounded robot group joining: given an observation and a natural-language description of a target group, the robot identifies the relevant group members and predicts socially compliant joining poses. For grounding, we generate structured candidate subsets through recursive spectral partitioning and rank them with a language-conditioned image--geometry model. Given the grounded group, a goal predictor leverages human-formation priors to produce a multimodal energy--orientation map over feasible robot poses. Experiments on conversations, queues, and audiences across varying group sizes, crowd densities, and visual ambiguities show that our method achieves competitive grounding accuracy with sub-second inference and outperforms all baselines in joining-pose prediction. Real-robot experiments further demonstrate group joining in both static and dynamically changing interactions.