G$^3$-LoRA: Organizing Reward-Weighted Video Data with Gradient-Guided Grouped LoRA

📄 arXiv: 2609.35189v1 📥 PDF

作者: Jia Song, Wenhow Li, Lichen Bai, Bada Ye, Zeke Xie

分类: cs.CV, cs.LG

发布日期: 2026-09-28

备注: 22 pages, 6 figures

💡 一句话要点

提出G$^3$-LoRA以解决异构奖励加权视频数据的训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频模型 奖励加权 后训练 LoRA 多模态学习 梯度兼容性 聚类训练

📋 核心要点

  1. 现有方法假设所有数据类别引发兼容更新，但在不同技能和领域下，这一假设往往不成立。
  2. G$^3$-LoRA通过分析奖励加权样本的类别级梯度，聚类兼容的类别并训练特定的LoRA专家，最终合并为一个适配器。
  3. 在Wan2.1-T2V-1.3B-Diffusers上，合并后的适配器在VBench2.0评估中超越了基线模型和其他对比方法。

📝 摘要（中文）

在异构奖励加权数据上进行后训练的基础视频模型通常假设所有数据类别会引发兼容的更新。然而，当类别对应不同的技能、领域或评估维度时，这一假设变得脆弱。本文研究了文本到视频的后训练问题，提出了G$^3$-LoRA（梯度引导分组LoRA），通过探测奖励加权视频样本引发的类别级梯度，去除共享的全局更新方向，按残差梯度兼容性对类别进行聚类，训练特定组的LoRA专家，并通过权重合并和专家的在线蒸馏将其整合为一个适配器。实验结果表明，该方法在多个基准测试中显著提升了模型性能。

🔬 方法详解

问题定义：本文旨在解决在异构奖励加权视频数据上进行后训练时，类别间更新不兼容的问题。现有方法往往假设所有类别数据能够引发兼容的模型更新，但在实际应用中，这一假设常常不成立，导致模型性能下降。

核心思路：G$^3$-LoRA的核心思路是通过分析奖励加权样本的类别级梯度，去除共享的全局更新方向，从而聚类具有相似残差梯度的类别，训练特定组的LoRA专家，并最终将其合并为一个适配器。这样设计的目的是为了避免不同类别间的干扰，提高模型的学习效率。

技术框架：该方法的整体架构包括几个主要模块：首先，通过奖励加权样本计算类别级梯度；其次，去除全局更新方向，聚类相似类别；然后，针对每个类别组训练LoRA专家；最后，通过权重合并和在线蒸馏将专家整合为一个适配器。

关键创新：G$^3$-LoRA的主要创新在于通过梯度兼容性来组织奖励加权视频数据，这一方法与传统的共享训练方法本质上不同，能够有效避免不同类别间的负迁移。

关键设计：在实现过程中，关键设计包括选择合适的损失函数以优化类别级梯度的兼容性，以及在蒸馏过程中如何有效地合并不同LoRA专家的权重。这些设计确保了模型在训练过程中的稳定性和性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Wan2.1-T2V-1.3B-Diffusers上，合并后的G$^3$-LoRA适配器在VBench2.0评估中超越了基线模型和其他对比方法，显示出显著的性能提升，尤其是在避免联合训练的负迁移方面表现出色。

🎯 应用场景

该研究的潜在应用场景包括视频生成、视频理解和多模态学习等领域。通过优化视频模型在异构数据上的训练，G$^3$-LoRA能够提升模型在实际应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Post-training foundation video models on heterogeneous reward-weighted data usually assume that all data categories induce compatible updates. This assumption is fragile when categories correspond to different skills, domains, or evaluation dimensions. We study this problem in text-to-video post-training, where VBench2.0 dimensions define data buckets and an external multimodal reward pipeline assigns sample weights. We propose G$^3$-LoRA (Gradient-Guided Grouped LoRA), a data organization procedure that probes category-level gradients induced by reward-weighted video samples, removes the shared global update direction, clusters categories by residual gradient compatibility, trains group-specific LoRA experts, and consolidates them into one adapter by weight merging followed by on-policy distillation from the experts. We motivate this procedure by viewing reward-weighted flow matching as velocity-field regression: incompatible reward dimensions may prefer different denoising directions in overlapping noisy latent regions, causing shared LoRA training to average capabilities. On Wan2.1-T2V-1.3B-Diffusers, the merged grouped adapter improves the matched VBench2.0 evaluation over the base model, a joint reward-weighted LoRA baseline, and random, semantic, and raw-gradient partitions trained with the same pipeline; an independent evaluator agrees, and on CogVideoX-2B grouping avoids the negative transfer of joint training. The gain is not uniform: merging compresses the largest specialist gains, distillation recovers part of this loss, and camera motion and several local-quality dimensions remain challenging. Together, these results suggest that gradient compatibility can serve as a practical diagnostic for organizing reward-weighted video post-training data.