DVLA-RL++: Dual-Level Vision-Language Alignment with Reinforcement Learning Gating for Few-Shot Learning

📄 arXiv: 2610.12095v1 📥 PDF

作者: Wenhao Li, Xianjing Meng, Qiangchang Wang, Zhongyi Han, Yilong Yin, Liqiang Nie

分类: cs.CV, cs.LG

发布日期: 2026-10-08

备注: This work has been submitted to the IEEE TPAMI for possible publication

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DVLA-RL++以解决少样本学习中的上下文污染问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 少样本学习 视觉-语言对齐 强化学习 语义净化 上下文污染

📋 核心要点

  1. 现有方法在少样本学习中容易受到上下文污染，导致支持原型的可靠性下降。
  2. 本文提出DVLA-RL++，通过互补语义净化和反事实强化学习门控来增强少样本学习的鲁棒性。
  3. 实验结果表明，DVLA-RL++在多个基准测试中实现了1.4%的平均准确率提升，表现优于现有方法。

📝 摘要（中文）

少样本学习旨在从有限的标记样本中识别新类别。近期研究通过引入文本语义来弥补视觉观察的不足，提升类别表示。然而，高图像-文本一致性可能同时反映物体的内在属性和偶然上下文，使得支持原型易受上下文污染。为了解决这一问题，本文提出DVLA-RL++，在DVLA-RL的基础上扩展了互补语义净化（CSP）和反事实强化学习门控（CRG）。CSP从标记支持中生成内在和干扰描述，并比较它们与每个支持标记的协议。模糊依赖的拒绝边际引导稀疏证据分配，而内在语义锚点在视觉证据不可靠时提供后备支持。CRG通过平衡识别性能和干扰暴露的奖励来学习层级语义融合强度。理论分析将保留证据和锚点质量与原型稳定性联系起来，并建立无偏在政策梯度估计的条件。实验结果显示在标准、细粒度和跨领域基准上达到了最先进的准确率，平均提升1.4%。

🔬 方法详解

问题定义：本文旨在解决少样本学习中支持原型受到上下文污染的问题。现有方法在高图像-文本一致性下，容易受到偶然上下文的影响，导致分类性能下降。

核心思路：DVLA-RL++通过引入互补语义净化（CSP）和反事实强化学习门控（CRG），有效地分离内在语义与干扰信息，从而提高模型的鲁棒性和准确性。

技术框架：该方法的整体架构包括两个主要模块：CSP用于生成和比较内在与干扰描述，CRG用于学习语义融合强度。CSP通过模糊依赖的拒绝边际引导证据分配，而CRG则通过奖励机制优化学习过程。

关键创新：最重要的创新在于引入了互补语义净化和反事实强化学习门控，这两者的结合使得模型能够在面对不可靠视觉证据时，依然保持较高的分类性能。

关键设计：在CSP中，设计了模糊依赖的拒绝边际和内在语义锚点，以优化证据分配；在CRG中，通过奖励机制平衡识别性能与干扰暴露，确保模型学习到有效的语义融合强度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DVLA-RL++在标准、细粒度和跨领域基准上达到了最先进的准确率，平均提升1.4%相较于DVLA-RL，展示了其在少样本学习任务中的有效性和优越性。

🎯 应用场景

该研究在计算机视觉和自然语言处理交叉领域具有广泛的应用潜力，尤其是在需要处理少量标记数据的场景，如医疗影像分析、自动驾驶中的物体识别以及人机交互系统等。未来，该方法可能推动更高效的少样本学习算法的发展，提升智能系统的适应能力和准确性。

📄 摘要（原文）

Few-shot learning aims to recognize novel categories from limited labeled examples. Recent studies incorporate textual semantics to compensate for limited visual observations and improve class representations. However, high image-text agreement may reflect both intrinsic object properties and incidental context, making support prototypes susceptible to contextual contamination. To address this problem, we propose DVLA-RL++, which extends DVLA-RL with complementary semantic purification (CSP) and counterfactual reinforcement-learning gating (CRG). Specifically, CSP generates intrinsic and nuisance descriptions from labeled supports and compares their agreement with each support token. An ambiguity-dependent rejection margin guides sparse evidence allocation, while an intrinsic semantic anchor fills the unassigned mass to provide a fallback when visual evidence is unreliable. CRG learns layer-wise semantic fusion strengths using a reward that balances recognition performance and nuisance exposure. An independently executed reference trajectory on the same episode provides a paired learning signal. Theoretical analysis relates retained evidence and anchor quality to prototype stability and establishes conditions for unbiased on-policy gradient estimation. Experiments on standard, fine-grained, and cross-domain benchmarks show state-of-the-art accuracy, with an average gain of 1.4% over DVLA-RL. The project page is available at https://peacelwh.github.io/TPAMI27-DVLA-RLpp/.