HelixWorld: A Real-time Interactive Audio-Visual World Model

📄 arXiv: 2609.38123v1 📥 PDF

作者: Lei Ke, Jiahao Pan, Zeyue Tian, Jiaming Wang, Haoyuan Huang, Kam Man Wu, Pengjun Fang, Hongyu Liu, Chenyang Qi, Lin Wang, Ruibin Yuan, Weijia Chen, Fangneng Zhan, Qifeng Chen, Wei Xue, Yike Guo

分类: cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出HelixWorld以解决音频视觉世界模型的交互性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 音频视觉模型 多感官交互 实时渲染 空间声学 用户体验 虚拟现实 机器学习

📋 核心要点

  1. 现有的交互式世界模型往往忽视声学维度，仅专注于视觉渲染，导致多感官交互体验不足。
  2. HelixWorld通过构建高保真音频视觉数据集，采用双向教师模型和少步流式学生模型，实现了音频与视觉的同步演化。
  3. 实验结果显示，HelixWorld在视觉保真度和响应性上与顶尖模型相当，同时在空间声学沉浸感上显著优于现有方法。

📝 摘要（中文）

世界模拟本质上是多感官的，要求视觉和声学动态实时同步。然而，现有的交互式世界模型通常只关注视觉渲染和控制，忽视了声学维度。本文提出了HelixWorld，一个实时交互的音频视觉世界模型，视觉场景与基于相机的空间立体声在用户交互下自然共同演化。我们构建了一个高保真空间音频视觉数据集，并在此基础上预训练了一个双向教师模型。为了实现低延迟的因果交互，我们通过在线轨迹蒸馏损失将教师模型蒸馏为少步流式学生模型，实现了在单个GPU上以24帧每秒的速度进行无漂移的音频视觉联合生成。我们还形式化了空间声学一致性，并引入HelixBench来评估合成声场是否真实跟踪动态视点运动。实验表明，HelixWorld在视觉保真度和响应性方面与最先进的无声世界模型相匹配，同时在相机对齐的空间声学沉浸感上显著超越现有基线。

🔬 方法详解

问题定义：本文旨在解决现有交互式世界模型在声学维度上的缺失，导致用户体验不够丰富的问题。现有方法主要集中于视觉渲染，忽略了音频的实时交互性。

核心思路：HelixWorld的核心思路是将视觉和声学动态结合，通过高保真数据集和双向教师模型实现音频与视觉的同步演化，提升用户交互体验。

技术框架：整体架构包括数据集构建、双向教师模型预训练、在线轨迹蒸馏和流式学生模型生成等主要模块。数据集提供真实的立体声和相机位姿，教师模型则基于用户动作和6自由度相机轨迹进行训练。

关键创新：HelixWorld的关键创新在于实现了音频与视觉的无缝结合，提出了在线轨迹蒸馏损失，使得模型在低延迟下进行因果交互，解决了现有模型的漂移问题。

关键设计：在模型设计中，使用了双向教师模型进行预训练，并通过少步流式学生模型实现实时音频视觉生成，确保了在24 FPS下的流畅交互体验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HelixWorld在视觉保真度和响应性方面与最先进的无声世界模型相当，而在相机对齐的空间声学沉浸感上显著超越现有基线，提升幅度达到XX%。

🎯 应用场景

HelixWorld的研究成果在虚拟现实、游戏开发、教育培训等领域具有广泛的应用潜力。通过提供更为沉浸的音频视觉交互体验，可以提升用户的参与感和沉浸感，推动多感官交互技术的发展。

📄 摘要（原文）

World simulation is inherently multisensory, demanding synchronized visual and acoustic dynamics in real time. Yet prevailing interactive world models remain strictly silent, focusing exclusively on visual rendering and control while overlooking the acoustic dimension. We present HelixWorld, a real-time interactive audio-visual world model where visual scenes and camera-grounded spatial stereo sound co-evolve natively under user interaction. We curate a high-fidelity spatial audio-visual dataset with true stereo acoustics and metric camera poses, upon which we pre-train a bidirectional teacher conditioned on 6-DoF camera trajectories and user actions. To enable low-latency causal interaction, we distill the teacher into a few-step streaming student via an online trajectory distillation loss, sustaining drift-free joint audio-visual rollouts at 24 FPS on a single GPU. Furthermore, we formalize spatial-acoustic consistency and introduce HelixBench to evaluate whether synthesized sound fields faithfully track dynamic viewpoint motion. Extensive experiments demonstrate that HelixWorld matches state-of-the-art silent world models in visual fidelity and responsiveness, while significantly surpassing existing baselines in camera-aligned spatial-acoustic immersion.