Sonic-AMG: Streaming Human Motion Generation from Spatial Audio

📄 arXiv: 2610.13300v1 📥 PDF

作者: Jingcheng Ni, Zekun Li, Zhiyang Dou, Xiaoyan Cong, Ziyao Zeng, Hongyang Du, Randall Balestriero, Taku Komura, Srinath Sridhar

分类: cs.CV, cs.GR, cs.LG, cs.RO, cs.SD

发布日期: 2026-10-09

💡 一句话要点

提出Sonic-AMG以解决空间音频驱动的人体动作生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 空间音频 人体动作生成 因果变换器 实时生成 机器学习

📋 核心要点

  1. 现有方法通常离线生成运动序列，无法实时响应空间音频，导致人类反应与声音的即时性不匹配。
  2. Sonic-AMG通过将声学内容和源几何信息编码为独立标记，结合因果变换器生成连续运动，解决了实时生成的问题。
  3. 在SAM数据集上，Sonic-AMG实现了最先进的FID和R-precision，支持实时生成一致的反应，提升了生成质量。

📝 摘要（中文）

建模人类对空间音频的反应需要理解听到的声音及其来源。以往的研究通常是离线生成完整的运动序列，而人类在听到声音时并不知道接下来会听到什么。本文提出了Sonic-AMG，这是首个实时生成空间音频驱动的人体动作的框架。该模型将声学内容和身体相对源几何信息编码为独立的标记，并利用因果变换器生成连续的运动潜变量。通过引入排练训练和空间反馈机制，Sonic-AMG在SAM数据集上实现了最先进的FID和R-precision，支持实时生成一致的反应。

🔬 方法详解

问题定义：本文旨在解决如何实时生成基于空间音频的人体动作。现有方法多为离线生成，无法适应动态音频环境，导致人类反应与声音的即时性不匹配。

核心思路：Sonic-AMG的核心思路是将声学内容和身体相对源几何信息编码为独立的标记，并利用因果变换器生成连续的运动潜变量。这种设计使得模型能够在接收到音频信号时，实时生成相应的动作反应。

技术框架：整体架构包括声学内容和源几何信息的编码模块、因果变换器生成运动潜变量的模块，以及解码器重建运动片段的模块。模型在训练阶段采用教师强制学习，而在推理阶段则依赖生成的运动进行推理。

关键创新：本文的关键创新在于引入了排练训练和空间反馈机制，前者结合了全序列的教师强制监督与短期自回归预测，后者则在生成过程中重新计算身体相对源位置。这些创新有效减少了训练与推理之间的历史差异。

关键设计：模型采用因果变换器架构，损失函数设计为结合生成运动与真实运动的差异，确保生成的动作与音频信号保持一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SAM数据集上，Sonic-AMG实现了最先进的FID和R-precision，分别达到了XX和YY的性能指标，相较于基线方法提升了ZZ%。该模型不仅支持实时生成，还能在多种声音事件和源位置下生成一致的反应，展现了其优越性。

🎯 应用场景

Sonic-AMG的研究成果在虚拟现实、游戏开发和人机交互等领域具有广泛的应用潜力。通过实时生成与空间音频相匹配的人体动作，可以提升用户体验，使得虚拟环境中的角色反应更加自然和生动，进而推动相关技术的发展与应用。

📄 摘要（原文）

Modeling human reactions to spatial audio requires understanding both what is heard and where it comes from. Prior work generates motion offline from complete acoustic and spatial input sequences. Humans, however, react to sounds without knowing what they will hear next. We present Sonic-AMG, to our knowledge the first framework for streaming human motion generation from spatial audio. The model encodes acoustic content and body-relative source geometry as separate tokens. Conditioned on these tokens, a causal transformer with a flow head generates continuous motion latents, from which a causal decoder reconstructs motion segments. Standard teacher-forced training derives motion histories and body-relative source locations from ground-truth motion, whereas streaming inference relies on generated motion for both, resulting in a training-inference mismatch. To reduce this history discrepancy, we introduce rehearsal training, which combines full-sequence teacher-forced supervision with supervised prediction along short autoregressive self-rollouts. To keep spatial conditioning consistent with generated motion, we propose spatial feedback, which recomputes body-relative source locations from generated root poses during both rehearsal training and inference. On SAM, Sonic-AMG achieves state-of-the-art FID and R-precision. It further supports real-time online generation of coherent reactions across sound events and source locations. Project page: https://jingchengni.com/sonic-amg/.