Passing: An Endless Journey through Reconstructed Spacetime with AI-Generated Sound
作者: Akira Takahashi, Chihiro Nagashima, Zhi Zhong, Shusuke Takahashi, Yuki Mitsufuji
分类: cs.SD, cs.AI
发布日期: 2026-09-23
备注: Accepted to the NeurIPS 2026 Creative AI Track
💡 一句话要点
提出Passing以实现非线性时空重构与音频生成的交互体验
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视听艺术 非线性重构 观众交互 音频合成 时空体积
📋 核心要点
- 现有方法在视频重构中通常采用线性回放，缺乏对空间和时间结构的非线性探索，限制了观众的沉浸体验。
- 论文提出通过重构视频为时空体积，并利用观众存在状态影响视频序列的过渡，从而实现动态的视听体验。
- 实验结果表明，Passing能够有效地生成与视觉流同步的音景，增强了观众的参与感和沉浸感，推动了视听艺术的边界。
📝 摘要（中文）
本文介绍了Passing，一个互动视听装置，通过重构单一连续的单轨窗录制，生成无尽的旅程。该作品并非线性回放，而是沿非线性轨迹重新采样其空间和时间结构，产生不断变化的景观。通过基于摄像头的观众存在检测系统，估计观众是否在观看区域内，并利用这一状态影响渲染视频序列的过渡。生成的视频流输入SpecMaskFoley模型，实时合成与重构图像同步的音景。该模型并不重建客观正确的音轨，而是作为一种推测性的听众，提出对被打破的传统时空前提下的世界的听觉解读。Passing在艺术家、AI模型和观众之间分配创造性代理，探讨人类意图、机器推理与观众解读之间的作者身份和听觉体验的协商。
🔬 方法详解
问题定义：本文旨在解决传统视频重构方法的线性回放限制，缺乏对空间和时间的非线性探索，导致观众体验单一。
核心思路：通过将视频重构为时空体积，沿非线性轨迹重新采样，并结合观众的存在状态，创造出动态变化的视听体验。
技术框架：整体架构包括三个主要模块：视频重构模块、观众检测模块和音频合成模块。视频重构模块负责将原始视频转换为时空体积，观众检测模块实时监测观众的存在，音频合成模块则生成与视频同步的音景。
关键创新：最重要的创新在于将观众的存在状态与视频序列的过渡相结合，形成一种新的交互式视听体验，这与传统的线性播放方式截然不同。
关键设计：在设计中，使用了SpecMaskFoley模型进行音频合成，该模型并不追求重建客观音轨，而是通过推测性听觉解读来增强观众的沉浸感。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Passing在观众存在状态影响下，能够生成与视觉流高度同步的音景，显著提升了观众的沉浸感和参与度。与传统方法相比，该系统在视听交互方面的表现有显著提升，具体性能数据尚未公开。
🎯 应用场景
该研究的潜在应用领域包括艺术装置、互动媒体和虚拟现实等，能够为观众提供更为沉浸和个性化的视听体验。未来，类似的技术可以扩展到教育、娱乐和心理治疗等多个领域，提升用户的参与感和体验质量。
📄 摘要（原文）
This paper introduces Passing, an interactive audiovisual installation that generates an endless journey from a single continuous monorail-window recording by reconstructing it as a spatiotemporal volume. Rather than replaying the footage linearly, the work resamples its spatial and temporal structure along nonlinear trajectories, producing a continuously passing landscape whose depth, speed, and temporal order become unstable. A camera-based viewer-presence detection system estimates whether a viewer is present in the viewing zone and uses this presence state to influence transitions among rendered video sequences. The resulting video stream is fed into SpecMaskFoley, a real-time video-to-audio synthesis model that generates a synchronized soundscape for the reconfigured image. The model is not used to reconstruct an objectively correct soundtrack, but functions as a speculative listener, proposing a possible auditory interpretation of a world whose conventional spatial and temporal premises have been disrupted. Passing distributes creative agency across the artist, who defines the rules of spacetime reconstruction; the AI model, which interprets the emergent visual flow as sound; and the audience, whose embodied presence influences the audiovisual trajectory. Through this structure, the work investigates how authorship and listening may be negotiated among human intention, machine inference, and audience interpretation. Artwork page: https://ryufurusawa.com/passing