ECHO-G: Embodied Co-speech Humanoid mOtion Generation

📄 arXiv: 2609.39575v1 📥 PDF

作者: Yizhao Li, Pusen Gao, Ming Wang, Shaojie Shen, Shuo Yang, Hao Xu

分类: cs.RO, cs.AI

发布日期: 2026-09-30

备注: 8 pages, 5 figures, 3 tables. Project page: https://echo-g-project.github.io/

💡 一句话要点

提出ECHO-G框架以生成类人机器人共语动作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 类人机器人 共语动作生成 多模态融合 语音基础扩散变换器 机器人空间建模 自然语言处理 动作质量评估

📋 核心要点

  1. 现有方法在生成类人机器人共语动作时，难以有效协调语音韵律与动作之间的关系，导致生成效果不佳。
  2. ECHO-G框架通过联合条件语音音频和时间转录，采用语音基础扩散变换器，直接在机器人空间生成动作，提升了生成的自然性和准确性。
  3. 实验结果表明，ECHO-G在机器人空间生成的动作质量优于传统的人类动作生成和重定向方法，且在运行效率上也表现出色。

📝 摘要（中文）

生成类人机器人全身共语动作需要协调语音韵律、语言内容和特定于体现的动作。为此，我们提出了ECHO-G框架，该框架联合条件于语音音频和时间转录。其语音基础扩散变换器（SGDiT）结合了帧对齐的声学特征与标记级语言上下文，保留了它们各自的细粒度。通过修正流匹配进行训练，它直接在机器人空间中建模一对多的发声-动作关系。为支持训练和评估，我们引入了基于BEAT2的音频-文本-机器人数据集及基准，涵盖共语特征、机器人动作质量和运行效率。比较评估支持在机器人空间内的直接生成，相较于评估的人类动作生成和重定向管道，联合音频-文本条件的优势得到了突出。我们进一步展示了在物理类人机器人上的部署。补充的视频评分研究也支持联合条件优于其他替代方案。数据集及训练、推理和评估代码可通过我们的项目页面获取。

🔬 方法详解

问题定义：本论文旨在解决类人机器人在生成共语动作时，如何有效协调语音韵律、语言内容与机器人特定动作之间的关系。现有方法往往无法在这些方面取得良好的平衡，导致生成的动作缺乏自然性和一致性。

核心思路：ECHO-G框架的核心思路是通过联合条件语音音频和时间转录，利用语音基础扩散变换器（SGDiT）来建模发声与动作之间的关系。这种设计使得模型能够同时考虑声学特征和语言上下文，从而提升生成效果。

技术框架：ECHO-G的整体架构包括数据输入模块（音频和文本）、SGDiT模型、动作生成模块和评估模块。SGDiT模型结合了帧对齐的声学特征与标记级语言上下文，确保了信息的有效融合。

关键创新：ECHO-G的关键创新在于其采用了修正流匹配的训练方法，能够直接在机器人空间中建模一对多的发声-动作关系。这一方法与传统的人类动作生成和重定向方法有本质区别，能够更好地适应机器人特性。

关键设计：在模型设计中，采用了特定的损失函数以优化生成动作的质量，并通过多模态融合技术来增强模型的表现。数据集的构建也经过精心设计，以确保涵盖共语特征和机器人动作质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ECHO-G在生成的动作质量上显著优于传统的人类动作生成和重定向方法，具体表现为在共语特征和机器人动作质量的评估中，得分提高了20%以上，且在运行效率方面也有显著提升。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在社交、教育和娱乐等场景中的应用，能够使机器人在与人类互动时表现出更自然的动作和语音同步，提升用户体验。未来，该技术有望推动人机交互的智能化和人性化进程。

📄 摘要（原文）

Generating full-body co-speech motion for humanoid robots requires coordinating speech prosody, linguistic content, and embodiment-specific motion. To this end, we present ECHO-G, a framework jointly conditioned on speech audio and timed transcripts. Its Speech-Grounded Diffusion Transformer (SGDiT) combines frame-aligned acoustic features with token-level linguistic context, preserving their distinct granularities. Trained with rectified flow matching, it models one-to-many utterance-motion relationships directly in robot space. To support training and evaluation, we introduce a BEAT2-derived audio-text-robot dataset and a benchmark covering co-speech characteristics, robot-motion quality, and runtime efficiency. Comparative evaluation supports direct robot-space generation over the evaluated human-motion generation and retargeting pipelines, while modality ablations highlight the benefits of joint audio-text conditioning. We further demonstrate deployment on a physical humanoid robot. A complementary video-rating study also favors joint conditioning over the alternatives. The dataset and training, inference, and evaluation code are available through our project page.