VARI: Robust Text-to-Video Generation via Group-Structured Intent Alignment
作者: Mingxuan Zhu, Hohei Chan, Shiyuan Liu, Yuanxing Zhang, Lu Chen
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出VIRI以解决文本到视频生成中的语义一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 文本到视频生成 意图对齐 群体结构 蒸馏训练 多模态生成 语义一致性 视频质量提升
📋 核心要点
- 现有文本到视频生成模型在语义一致性方面存在挑战，提示词的微小变化会导致生成质量显著下降。
- VIRI通过群体结构框架，将相同视觉意图的不同表述视为共享监督，优化了模型的可靠性和一致性。
- 在HunyuanVideo-1.5上，VIRI在多个评估指标中表现最佳，显著提升了弱形式对齐的效果，并减少了跨形式的性能下降。
📝 摘要（中文）
现代文本到视频生成模型能够生成视觉上引人注目的视频，但提示词的微小变化可能会显著影响语义实现和整体质量。现有的提示重写方法仅修改推理输入，而传统的后训练方法则一次构建一个提示的监督，未能显式优化等效形式之间的可靠性。为此，本文提出了VIRI（意图表示的验证对齐），一个将自动验证的相同视觉意图的表述视为共享监督单元的群体结构框架。VIRI构建匹配的形式种子回滚池，交叉评分每个视频与所有形式，并应用与措辞无关的结构化意图审计来识别有效实现和严重语义失败。实验表明，VIRI在多个基准测试中表现优异，显著提升了模型的鲁棒性和可转移性。
🔬 方法详解
问题定义：本文旨在解决文本到视频生成中，由于提示词变化导致的语义一致性问题。现有方法在处理不同提示形式时，未能有效优化生成结果的可靠性和一致性。
核心思路：VIRI通过构建群体结构框架，将不同表述的相同视觉意图视为共享监督单元，从而实现更高的生成一致性和质量。
技术框架：VIRI的整体架构包括匹配的形式种子回滚池、交叉评分模块和结构化意图审计。通过这些模块，模型能够有效识别有效实现和语义失败。
关键创新：VIRI的主要创新在于群体一致蒸馏（GCD）和形式对比流-DPO（FC-DPO），前者对齐每个验证形式与可互换的有效实现，后者从审计的正负对中学习群体级偏好。
关键设计：在设计中，VIRI采用了无额外推理时间模块的策略，确保了模型的高效性。同时，损失函数和网络结构经过精心设计，以支持群体结构的有效学习和优化。
🖼️ 关键图片
📊 实验亮点
在HunyuanVideo-1.5上，VIRI在T2V-CompBench、VBench和StoryEval等多个指标中取得了最高分数。相较于最强的提示级基线，VIRI在弱形式对齐上分别提升了2.45和3.55分，同时减少了30.5%和32.2%的跨形式性能下降，且保持了视觉质量。
🎯 应用场景
该研究的潜在应用领域包括影视制作、广告创意生成和教育视频制作等。通过提升文本到视频生成的语义一致性，VIRI能够为创作者提供更高质量的生成工具，推动多媒体内容的自动化生成和个性化定制。未来，VIRI的技术可能会在更广泛的多模态生成任务中发挥重要作用。
📄 摘要（原文）
Modern text-to-video (T2V) models generate visually compelling videos, yet meaning-preserving changes in prompt wording can substantially alter semantic realization and overall quality. Existing prompt rewriting modifies the inference input, whereas conventional post-training constructs supervision from one prompt formulation at a time; neither explicitly optimizes reliability across equivalent forms. We introduce VARI (Verified Alignment over Representations of Intent), a group-structured framework that treats automatically verified formulations of the same visual intent as a shared supervision unit. VARI builds matched form-seed rollout pools, cross-scores each video against all forms, and applies a wording-independent structured intent audit to identify valid realizations and hard semantic failures. Group-Consistent Distillation (GCD) aligns every verified form with interchangeable valid realizations, while Form-Contrastive Flow-DPO (FC-DPO) learns group-level preferences from audited positive-negative pairs, prioritizing same-seed, different-form contrasts. On HunyuanVideo-1.5, VARI attains the highest T2V-CompBench, VBench, and StoryEval scores among the evaluated methods. On prompt-form extensions of T2V-CompBench and VBench, it improves weakest-form alignment over the strongest prompt-level baselines by 2.45 and 3.55 points and reduces cross-form drop by 30.5% and 32.2%, respectively, while preserving visual quality. Human evaluation, natural-caption controls, prompt-enhancement experiments, diversity analyses, and transfer to LTX-2.3 further support the robustness and transferability of these gains, while VARI requires no additional inference-time module.