WorldSonus: Bringing Sound to Worlds
作者: Pengjun Fang, Jingyi Fa, Kam Man Wu, Jiaming Wang, Haoyuan Huang, Yaguang Wu, Xiangjun Huang, Ziyang Ma, Weijia Chen, Hongyu Liu, Zeyue Tian, Qifeng Chen
分类: cs.SD, cs.AI, cs.CV, eess.AS
发布日期: 2026-10-06
备注: 25 pages, 4 figures, 16 tables. Project page: https://noizai.github.io/WorldSonus/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出WorldSonus以解决世界模型中的声音合成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 声音合成 世界模型 实时生成 交互控制 空间对齐 音频处理 多模态融合
📋 核心要点
- 现有的世界模型生成环境缺乏声音，导致交互体验不完整。
- WorldSonus通过流式因果自回归扩散架构实现实时音频合成，并支持动态声音事件控制。
- 实验结果显示，WorldSonus在音质和空间对齐方面超越了现有的双向模型，表现出色。
📝 摘要（中文）
近年来，世界模型的进展使得视觉合成越来越真实。然而，这些生成的环境仍然大多是无声的。将声音引入世界模型面临三个核心挑战：实时生成以跟上交互视频流、交互控制以响应中途的声音指令，以及空间对齐立体声以反映场景几何和相机运动。为了解决这些需求，我们提出了WorldSonus，这是一个旨在实现世界模型中实时空间声音合成的交互式视频到音频框架。WorldSonus采用流式因果自回归扩散架构，以0.41的低实时因子合成音频块。我们还结合了音频中心的字幕生成管道，支持动态操控声音事件。大量实验表明，尽管WorldSonus专为世界模型设计，但在开放域视频到音频基准上也能有效泛化，音质和空间对齐均与现有的双向模型相匹配或超越。
🔬 方法详解
问题定义：本论文旨在解决在世界模型中实现实时声音合成的挑战。现有方法在生成声音时无法满足实时性、交互性和空间对齐的需求，导致用户体验不足。
核心思路：WorldSonus的核心思路是采用流式因果自回归扩散架构，能够在低实时因子下生成音频块，同时结合音频中心的字幕生成管道，实现对声音事件的动态操控。
技术框架：WorldSonus的整体架构包括三个主要模块：流式音频生成模块、动态控制模块和空间对齐模块。流式音频生成模块负责实时合成音频，动态控制模块允许用户在生成过程中调整声音事件，空间对齐模块确保生成的声音与场景几何和相机运动相一致。
关键创新：WorldSonus的关键创新在于其流式因果自回归扩散架构和音频中心的字幕生成管道。这种设计使得系统能够在实时生成的同时，保持高质量的音频输出，并实现对声音事件的灵活控制。
关键设计：在技术细节上，WorldSonus采用了低实时因子（RTF）0.41的音频合成策略，并利用多样化的立体声和环境声数据进行高质量的立体声监督。此外，采用了基于块索引的提示调度策略，以支持动态声音事件的操控。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WorldSonus在开放域视频到音频基准上表现优异，其音质和空间对齐能力与现有的双向模型相比，均有显著提升。具体而言，WorldSonus在音频合成的实时性上达到了0.41的实时因子，且在多个评估指标上超越了当前的最先进模型，展示了其强大的应用潜力。
🎯 应用场景
WorldSonus的研究成果在多个领域具有潜在应用价值，包括虚拟现实、游戏开发和电影制作等。通过将声音与视觉内容有效结合，能够提升用户的沉浸感和交互体验，推动多媒体内容创作的进步。未来，该技术还可能扩展到教育、医疗等领域，提供更丰富的交互式学习和治疗体验。
📄 摘要（原文）
Recent advances in world models have enabled increasingly realistic visual synthesis. However, these generated environments remain largely silent. Bringing sound to world models poses three core challenges: real-time generation to keep pace with interactive video streams, interactive control to respond to mid-stream sound instructions, and spatially aligned stereo to reflect scene geometry and camera motion. To address these demands, we introduce WorldSonus, an interactive video-to-audio framework designed for real-time spatial sound synthesis in world models. For real-time generation, WorldSonus employs a streaming causal autoregressive diffusion architecture that synthesizes audio chunks at a low real-time factor (RTF) of 0.41. For interactive control, we incorporate an audio-centric captioning pipeline with chunk-indexed prompt scheduling, enabling dynamic manipulation of sound events during generation. For spatial alignment, we leverage high-quality stereo supervision curated from diverse stereo and ambisonic data. Extensive experiments demonstrate that while tailored for world models, WorldSonus generalizes effectively to open-domain video-to-audio benchmarks, matching or outperforming state-of-the-art bidirectional models in both acoustic quality and spatial alignment. Project page: https://noizai.github.io/WorldSonus/