MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions
作者: Lijian Lin, Ye Zhu, Fan Zhang, Yunfei Liu, Baofeng Li, Xianwen Zeng, Jianan Wang, Yu Li
分类: cs.RO
发布日期: 2026-09-21
💡 一句话要点
提出MIRA框架以解决实时人机交互中的响应同步问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人机交互 具身智能 实时响应 动作生成 双时间尺度策略
📋 核心要点
- 现有方法通常将对话编排与手势合成分开，导致机器人在实时交互中难以同步响应和动作。
- MIRA框架通过流式语音、对话历史和声音情感，统一预测响应文本和具身提示，增强交互的连贯性。
- 实验结果表明，MIRA在音频与动作的对齐上优于现有基线，并在真实机器人部署中展现出良好的响应性和中断处理能力。
📝 摘要（中文）
实时的具身伴侣交互要求机器人能够从流式语音中推断用户意图，生成及时的响应，并执行富有表现力的、可中断的动作。现有系统通常将对话编排与手势合成解耦，依赖于从完整音频中离线生成动作。这种分离使得在增量输入和不确定的轮次边界下，部署的机器人如何动态同步响应内容、韵律时机和物理安全性成为一个挑战。本文提出了MIRA，一个统一的全双工具身伴侣交互框架。MIRA根据流式用户语音、对话历史和声音情感，预测响应文本和明确的具身提示。离散的社交行为被映射到验证过的机器人轨迹，而开放式的发言则与流式的共语动作相结合。关键设计包括CORTEX，一个双时间尺度的交互策略，管理低延迟流式处理和深思熟虑的轮次决策。
🔬 方法详解
问题定义：本文旨在解决实时具身伴侣交互中，机器人如何在流式输入下动态同步响应内容与动作的问题。现有方法的痛点在于对话编排与动作生成的解耦，导致响应延迟和物理安全性难以保障。
核心思路：MIRA框架的核心思路是通过流式用户语音、对话历史和声音情感，实时预测响应文本和具身提示，从而实现全双工交互。该设计允许机器人在用户发言时生成相应的动作，提升交互的自然性和流畅性。
技术框架：MIRA的整体架构包括三个主要模块：流式语音处理模块、对话管理模块和动作生成模块。流式语音处理模块负责实时捕捉用户语音并提取特征，对话管理模块则根据历史对话和情感状态生成响应文本，动作生成模块则将文本与具身提示结合，生成相应的机器人动作。
关键创新：MIRA的关键创新在于引入了CORTEX双时间尺度交互策略，能够在低延迟流式处理与深思熟虑的轮次决策之间进行有效管理。这一设计使得机器人能够在保证物理安全的前提下，快速响应用户的输入。
关键设计：在技术细节上，MIRA采用了预测多于承诺的滑动窗口机制，以实现动作的连续性，同时限制物理承诺在短时间内可取消的前缀。此外，机器人执行层在控制速率下强制执行物理安全约束，确保交互的安全性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MIRA在音频与动作的对齐上相较于现有的动作生成基线表现出竞争力，具体量化评估表明其在响应性和中断处理能力上显著提升，展现出良好的实时交互性能。
🎯 应用场景
MIRA框架的潜在应用场景包括社交机器人、智能家居助手和教育机器人等领域。通过实现自然流畅的人机交互，MIRA能够提升用户体验，促进人机协作的有效性。未来，该技术有望在更多具身智能体中得到应用，推动人机交互的智能化发展。
📄 摘要（原文）
Real-time embodied companion interaction requires a robot to infer user intent from streaming speech, generate timely responses, and execute expressive, interruptible motions. Existing systems typically decouple dialogue orchestration from gesture synthesis, relying on offline motion generation from complete audio. This separation leaves open how a deployed robot can dynamically synchronize response content, prosodic timing, and physical safety under incremental inputs and uncertain turn boundaries. We present MIRA, a unified framework for full-duplex embodied companion interaction. Given streaming user speech, dialogue history, and vocal affect, MIRA predicts both the response text and an explicit embodiment cue. Discrete social behaviors (\eg listening, greeting) are mapped to validated robot trajectories, while open-ended speaking is paired with streaming, co-speech motion. This generative motion is governed by a predict-more-than-commit sliding window that provides temporal look-ahead for motion continuity while limiting physical commitment to a short, cancellable prefix. Crucially, we design CORTEX, a dual-timescale interaction policy that manages low-latency streaming and deliberative turn decisions, backed by a robot-side execution layer that enforces physical safety constraints at the control rate. We deploy MIRA on an Astribot S1 humanoid robot. Quantitative evaluations demonstrate competitive audio-motion alignment relative to state-of-the-art motion-generation baselines, while real-robot deployment measurements characterize streaming responsiveness and interruption handling.