All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

📄 arXiv: 2609.27901v1 📥 PDF

作者: Ohad Rahamim, Dvir Samuel, Idan Schwartz, Gal Chechik

分类: cs.CV

发布日期: 2026-09-23

💡 一句话要点

提出RecCAR以解决视频生成中的跨模态对应差距问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频生成 多模态学习 跨模态对应 正则化技术 生成模型

📋 核心要点

  1. 现有的联合多模态生成方法在视频与伴随模态之间的对应关系上存在显著的不对称性，导致生成质量下降。
  2. 论文提出RecCAR，通过KL正则化器对模态到视频的对应关系进行调整，以增强生成模型的跨模态一致性。
  3. 实验结果表明，RecCAR显著提升了生成质量，人体解剖得分从0.69提高到0.75，音频与视频的不同步程度也有所降低。

📝 摘要（中文）

视频是物理事件的丰富表现，捕捉外观、几何形状、运动和时间演变等信息。其他模态如3D身体运动或音频则仅编码事件的某些方面。研究发现，联合多模态扩散变换器在跨模态对应上存在不对称性：伴随模态与视频之间的对应关系较强，而反向对应关系则显著较弱。为此，论文提出RecCAR（反向跨模态注意力正则化），通过KL正则化器利用视频到模态的固定对应关系，调整较弱的模态到视频的对应关系。通过视频-运动和视频-音频生成任务，RecCAR将人体解剖得分从0.69提升至0.75，同时减少音频与视频的不同步程度。

🔬 方法详解

问题定义：论文要解决的问题是联合多模态生成中视频与伴随模态之间的对应关系不对称，导致生成效果不佳。现有方法在模态到视频的对应关系上较弱，影响了生成质量。

核心思路：论文的核心思路是引入RecCAR正则化器，利用视频到模态的强对应关系作为参考，增强模态到视频的对应关系，从而提升生成模型的整体性能。

技术框架：整体架构包括多模态扩散变换器，RecCAR正则化器作为关键模块，主要流程为：首先进行模态编码，然后通过RecCAR调整对应关系，最后进行生成。

关键创新：最重要的技术创新点在于引入了反向跨模态注意力正则化，解决了现有方法中模态到视频对应关系较弱的问题，显著提升了生成质量。

关键设计：在设计中，使用KL散度作为损失函数，确保模态到视频的对应关系向视频到模态的强对应关系对齐，同时优化网络结构以适应多模态输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RecCAR在视频-运动和视频-音频生成任务中，人体解剖得分从0.69提升至0.75，音频与视频的不同步程度从0.804降低至0.752，表明该方法在提升生成质量方面具有显著效果。

🎯 应用场景

该研究的潜在应用场景包括视频生成、虚拟现实、增强现实等领域，能够有效提升多模态生成系统的表现，具有重要的实际价值。未来，随着技术的进步，可能会在更广泛的多模态交互和生成任务中发挥重要作用。

📄 摘要（原文）

Video is a rich representation of a physical event, capturing appearance, geometry, motion, and temporal evolution. Other modalities, such as 3D body motion or audio, encode narrower aspects of the same event. We find that joint multimodal diffusion transformers exhibit a corresponding asymmetry in cross-modal correspondence: companion modalities develop strong correspondences to video, but the reciprocal correspondences through which they constrain video remain substantially weaker. We express both directions as comparable correspondence distributions over video tokens and define their disagreement as the reciprocal correspondence gap. We introduce RecCAR, standing for Reciprocal Cross-modal Attention Regularization, a KL regularizer that uses the well-established video-to-modality correspondence as a fixed reference and aligns the weaker modality-to-video correspondence toward it. Across joint video-motion and video-audio generation, RecCAR improves the Human Anatomy score from 0.69 to 0.75 and reduces audio-video desynchronization from 0.804 to 0.752, while improving overall generation