Hierarchical Fine-grained Preference Optimization for Physically Plausible Video Generation

📄 arXiv: 2508.10858v1 📥 PDF

作者: Harold Haodong Chen, Haojian Huang, Qifeng Chen, Harry Yang, Ser-Nam Lim

分类: cs.CV

发布日期: 2025-08-14

备注: Project Page: https://haroldchen19.github.io/PhysHPO-Page/

💡 一句话要点

PhysHPO：用于物理合理视频生成的分层细粒度偏好优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 视频生成 物理合理性 偏好优化 分层优化 跨模态学习 数据选择 人工智能

📋 核心要点

  1. 现有视频生成方法难以保证物理合理性，限制了其在需要高真实度场景的应用。
  2. PhysHPO通过分层跨模态直接偏好优化，在实例、状态、运动和语义四个层次对齐视频。
  3. 实验表明，PhysHPO显著提升了视频的物理合理性和整体生成质量，无需额外数据集构建。

📝 摘要（中文）

视频生成领域的最新进展使得创建高质量、视觉上引人入胜的视频成为可能。然而，生成符合物理定律的视频仍然是需要真实性和准确性的应用面临的关键挑战。本文提出了PhysHPO，一种新颖的分层跨模态直接偏好优化框架，通过实现物理合理视频生成的细粒度偏好对齐来应对这一挑战。PhysHPO在四个层次粒度上优化视频对齐：a) 实例级别，将整体视频内容与输入提示对齐；b) 状态级别，使用边界帧作为锚点来确保时间一致性；c) 运动级别，对运动轨迹进行建模以实现逼真的动力学；d) 语义级别，保持叙述和视觉效果之间的逻辑一致性。认识到真实世界的视频是物理现象的最佳反映，我们进一步引入了一个自动数据选择流程，以有效地识别和利用现有的大规模文本-视频数据集中的“好数据”，从而无需耗时且成本高昂的数据集构建。在以物理为中心和通用能力基准上的大量实验表明，PhysHPO显着提高了高级模型的物理合理性和整体视频生成质量。据我们所知，这是第一项探索用于视频生成的细粒度偏好对齐和数据选择的工作，为更逼真和人类偏好的视频生成范例铺平了道路。

🔬 方法详解

问题定义：当前视频生成模型在生成符合物理规律的视频方面存在困难。现有的方法通常难以保证生成视频的物理合理性，例如物体运动不符合重力、碰撞等物理定律，这限制了它们在需要高真实度和准确性的应用场景中的应用。

核心思路：PhysHPO的核心思路是利用分层细粒度的偏好优化，将视频生成过程分解为多个层次，并在每个层次上进行优化，从而保证视频在不同层面的物理合理性。通过这种方式，模型可以更好地理解和模拟物理世界中的各种现象。

技术框架：PhysHPO框架包含以下主要模块：1) 实例级别对齐：确保整体视频内容与输入提示一致。2) 状态级别对齐：利用边界帧作为锚点，保证视频的时间一致性。3) 运动级别对齐：对运动轨迹进行建模，生成逼真的运动效果。4) 语义级别对齐：维护叙述和视觉效果之间的逻辑一致性。此外，还包括一个自动数据选择流程，用于从现有数据集中筛选出高质量的训练数据。

关键创新：PhysHPO的关键创新在于其分层细粒度的偏好优化方法，以及自动数据选择流程。分层优化使得模型能够从多个层面理解和生成物理合理的视频，而自动数据选择则避免了手动构建数据集的成本和时间。这是首次在视频生成领域探索细粒度偏好对齐和数据选择。

关键设计：PhysHPO使用直接偏好优化（Direct Preference Optimization, DPO）方法，通过学习人类对不同视频片段的偏好来优化模型。在损失函数方面，针对不同的层次粒度设计了不同的损失函数，以保证在各个层面的优化效果。自动数据选择流程则基于一定的规则和指标，从大规模数据集中筛选出高质量的训练样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PhysHPO在物理合理性和整体视频生成质量方面均取得了显著提升。在以物理为中心的基准测试中，PhysHPO优于现有的先进模型。此外，PhysHPO在通用能力基准测试中也表现出色，证明了其在生成高质量视频方面的通用性。

🎯 应用场景

PhysHPO在游戏开发、电影制作、虚拟现实、机器人仿真等领域具有广泛的应用前景。它可以用于生成更逼真、更符合物理规律的虚拟环境和角色动画，提高用户体验和仿真效果。此外，该技术还可以用于教育领域，帮助学生更好地理解物理概念。

📄 摘要（原文）

Recent advancements in video generation have enabled the creation of high-quality, visually compelling videos. However, generating videos that adhere to the laws of physics remains a critical challenge for applications requiring realism and accuracy. In this work, we propose PhysHPO, a novel framework for Hierarchical Cross-Modal Direct Preference Optimization, to tackle this challenge by enabling fine-grained preference alignment for physically plausible video generation. PhysHPO optimizes video alignment across four hierarchical granularities: a) Instance Level, aligning the overall video content with the input prompt; b) State Level, ensuring temporal consistency using boundary frames as anchors; c) Motion Level, modeling motion trajectories for realistic dynamics; and d) Semantic Level, maintaining logical consistency between narrative and visuals. Recognizing that real-world videos are the best reflections of physical phenomena, we further introduce an automated data selection pipeline to efficiently identify and utilize "good data" from existing large-scale text-video datasets, thereby eliminating the need for costly and time-intensive dataset construction. Extensive experiments on both physics-focused and general capability benchmarks demonstrate that PhysHPO significantly improves physical plausibility and overall video generation quality of advanced models. To the best of our knowledge, this is the first work to explore fine-grained preference alignment and data selection for video generation, paving the way for more realistic and human-preferred video generation paradigms.