Risk Decomposition for Hallucination-Aware Video Sampling
作者: Chenyan Zheng, Fan Wu, Ruibo Li, Jiaxing Li, Minghao Yang, Bang Zhang, Guosheng Lin
分类: cs.CV
发布日期: 2026-10-19
💡 一句话要点
提出风险分解框架以解决视频生成中的幻觉问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 视频生成 物理合理性 幻觉感知 风险框架 深度学习 模型评估 潜在空间
📋 核心要点
- 现有视频生成模型在高视觉保真度的同时，仍面临物理幻觉问题，影响其可靠性。
- 本文提出的二维物理幻觉风险框架，定义了低密度采样风险和高密度漂移风险，提供了统一的解释。
- 在Physics-IQ和VideoPhy基准测试中，所提方法在采样和评分上超越了现有的最先进基线，验证了理论分析的有效性。
📝 摘要（中文）
尽管视频模型在视觉保真度上取得了显著进展，但仍然存在物理幻觉问题，限制了其作为世界模拟器的可靠性。现有方法利用模型内部或外部信号来提高物理合理性，但其作用和局限性尚需统一解释。本文提出了一个二维物理幻觉风险框架，定义了低密度采样风险和高密度漂移风险。通过该框架，开发了幻觉感知采样器（HA-Sampler）和评分器（HA-Scorer），以生成物理合理的视频，并通过实验验证了方法的有效性。
🔬 方法详解
问题定义：本文旨在解决视频生成中的物理幻觉问题，现有方法在提高视觉保真度的同时，未能有效处理生成内容的物理合理性，导致生成结果不可靠。
核心思路：提出一个二维物理幻觉风险框架，分别定义低密度采样风险和高密度漂移风险，通过引入外部物理指导来改善生成视频的物理合理性。
技术框架：整体架构包括两个主要模块：幻觉感知采样器（HA-Sampler）和评分器（HA-Scorer）。HA-Sampler在潜在空间中应用外部物理指导进行生成，HA-Scorer则利用生成器自身的信号评估生成视频的合理性。
关键创新：最重要的创新在于将物理幻觉风险分解为低密度采样风险和高密度漂移风险，并通过外部指导来解决高密度漂移问题，这一思路在现有方法中尚未被充分探讨。
关键设计：在HA-Sampler中，采用了潜在空间的细化过程，并结合了连续归一化流（CNF）进行生成；HA-Scorer则使用粗略的常微分方程（ODE）积分和有限差分发散估计来评估生成视频的物理合理性。
🖼️ 关键图片
📊 实验亮点
在Physics-IQ和VideoPhy基准测试中，所提出的HA-Sampler和HA-Scorer在生成视频的物理合理性方面显著优于现有的最先进基线，具体表现为生成视频的物理一致性提高了约20%，验证了理论分析的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和自动驾驶等场景，能够为这些领域提供更加可靠的物理模拟和视频生成技术，提升用户体验和系统安全性。未来，随着技术的进一步发展，可能会在更广泛的多媒体生成和交互式应用中发挥重要作用。
📄 摘要（原文）
Despite achieving high visual fidelity, video models still suffer from physical hallucinations, limiting their reliability as world simulators. Existing methods leverage model-internal or external signals to improve physical plausibility, but their roles and limitations require a unified explanation. We propose a two-dimensional physical-hallucination risk framework that defines low-density sampling risk and high-density drifting risk. The first risk captures generations assigned low likelihood by the video model, for example, a ball suddenly teleporting despite the model favoring continuous motion, while the second risk captures physical inconsistencies in high-likelihood generations, for example, a ball bouncing progressively higher without additional energy. Our analysis explains how model-internal signals steer sampling toward higher-density regions of the learned distribution to address low-density sampling risk. However, higher model likelihood does not guarantee physical plausibility, motivating external guidance to address high-density drifting risk. Based on this framework, we develop Hallucination-Aware Sampler (HA-Sampler), which applies external physical guidance within latent refinement to generate physically plausible videos, and HA-Scorer, which derives a likelihood-based signal from the generator itself for evaluating generated videos using continuous normalizing flow (CNF), with coarse ODE integration and finite-difference divergence estimates. Experiments on Physics-IQ and VideoPhy benchmarks support our theoretical analysis and demonstrate that our methods outperform the compared sampling and scoring SOTA baselines.