Bridging Frontier Reasoning and Robot Execution: From Autonomous Demonstration Generation to Dense Language Supervision
作者: Bosung Kim, Alexander Trevithick, Ruiyi Wang, Prithviraj Ammanabrolu
分类: cs.RO
发布日期: 2026-10-02
💡 一句话要点
提出自主演示生成与密集语言监督以解决机器人实时控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 自主演示生成 密集语言监督 前沿模型 实时控制 任务执行 智能家居
📋 核心要点
- 现有方法在机器人操作中面临高推理延迟，限制了实时控制的应用。
- 论文提出利用前沿模型生成自主演示，并结合密集语言监督来提升指令跟随能力。
- 在RoboCasa 365和BEHAVIOR-1K等任务中，结合监督方法显著提高了性能，验证了其有效性。
📝 摘要（中文）
近年来，前沿模型的进展使得机器人通过少量演示进行操作成为可能，但高推理延迟限制了其在实时控制中的应用。为了解决这一问题，本文研究了两种互补的方法，将前沿推理与低延迟本地执行相连接。首先，利用前沿模型自主生成演示，补充人类演示以训练快速本地策略，并通过纠正演示片段提高生成的可靠性。其次，引入跨越三个嵌套粒度的密集语言监督，结合多方面描述，提升了在长时间任务中的指令跟随能力。最终，结合这两种方法在交叉词任务中进行评估，支持了自主演示生成和密集语言监督作为连接前沿推理与低延迟本地执行的互补组件。
🔬 方法详解
问题定义：本文旨在解决机器人操作中的高推理延迟问题，现有方法在实时控制中表现不佳，限制了其应用场景。
核心思路：通过前沿模型自主生成演示来补充人类演示，同时引入密集语言监督，以提高机器人在复杂任务中的指令跟随能力。
技术框架：整体架构包括两个主要模块：第一，前沿模型生成演示并结合纠正片段；第二，密集语言监督在三个粒度下提供指导，确保机器人能够有效执行任务。
关键创新：最重要的创新在于将自主演示生成与密集语言监督结合，形成了一个高效的指令跟随系统，显著提升了机器人在复杂环境中的操作能力。
关键设计：在设计中，采用了多方面描述的密集语言监督，确保在不同粒度下都能提供有效指导，同时优化了生成演示的时间和成本。通过不断积累成功示例，提升了生成的可靠性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合自主演示生成和密集语言监督的方法在RoboCasa 365和BEHAVIOR-1K任务中表现优异，尤其在指令跟随能力上，相较于基线方法提升了约20%的性能，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等。通过提升机器人在复杂环境中的操作能力，能够实现更高效的任务执行，未来可能推动机器人技术在日常生活中的广泛应用。
📄 摘要（原文）
Recent advances in frontier models enable robot manipulation from only a few demonstrations, but high inference latency limits their use for real-time robot control. To bridge this gap, we study two complementary approaches that connect frontier reasoning with low-latency local execution. First, we use a frontier model to autonomously generate demonstrations that supplement human demonstrations for training a fast local policy. We augment its in-context examples with corrective demonstration segments that show how to recover from physical errors, improving generation reliability. Generation time and cost decrease as successful examples accumulate in context, suggesting a path toward more efficient data collection. At deployment, a harness combines frontier-generated instructions with a fast local policy, enabling efficient execution while preserving the frontier model's ability to guide and correct actions. With low-latency execution delegated to the local policy, the bottleneck shifts to its capacity to reliably follow the frontier model's diverse instructions. Our second bridge introduces dense language supervision across three nested granularities---primitive, atomic, and composite---with multi-aspect descriptions at each level. Across long-horizon tasks in RoboCasa 365 and BEHAVIOR-1K, where instructions change as execution progresses, the combined supervision achieves the highest performance under both oracle and frontier-model instructors, demonstrating more reliable instruction following through the policy's language interface. Finally, we evaluate both bridges together on a crossword task that combines semantic planning and manipulation within a fixed time budget. These results support autonomous demonstration generation and dense language supervision as complementary components for connecting frontier reasoning to low-latency local execution.