Label What Matters: Modality-Balanced and Difficulty-Aware Multimodal Active Learning

📄 arXiv: 2603.25107v1 📥 PDF

作者: Yuqiao Zeng, Xu Wang, Tengfei Liang, Yiqing Hao, Yi Jin, Hui Yu

分类: cs.CV

发布日期: 2026-03-26

💡 一句话要点

提出RL-MBA框架，解决多模态主动学习中模态平衡与样本难度动态变化问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 主动学习 强化学习 模态平衡 难度感知 证据融合 样本选择

📋 核心要点

  1. 现有方法在多模态主动学习中忽略了模态重要性和样本难度的动态变化，导致选择策略不够有效。
  2. RL-MBA通过强化学习动态调整模态权重，并利用证据融合估计样本难度，从而实现更智能的样本选择。
  3. 实验表明，RL-MBA在多个数据集上显著优于现有方法，提升了分类准确率和模态公平性。

📝 摘要（中文）

多模态学习融合图像、文本和音频等不同模态的互补信息以提升模型性能，但其成功依赖于大规模标注数据，而获取成本高昂。主动学习（AL）通过选择性地标注信息量大的样本来缓解这一挑战。在多模态环境中，许多方法隐式地假设模态重要性在各轮中保持稳定，并在融合阶段保持固定的选择规则，这使得它们对多模态学习的动态特性不敏感，即模态的相对价值和实例的难度随着训练的进行而变化。为了解决这个问题，我们提出了RL-MBA，一个用于模态平衡、难度感知的多模态主动学习的强化学习框架。RL-MBA将样本选择建模为一个马尔可夫决策过程，其中策略适应模态贡献、不确定性和多样性，奖励鼓励准确率的提高和平衡。两个关键组件驱动这种适应性：（1）自适应模态贡献平衡（AMCB），它通过强化反馈动态调整模态权重；（2）用于难度感知策略调整的证据融合（EFDA），它通过基于不确定性的证据融合来估计样本难度，从而优先考虑信息量大的样本。在Food101、KineticsSound和VGGSound上的实验表明，RL-MBA始终优于强大的基线，在有限的标注预算下提高了分类准确率和模态公平性。

🔬 方法详解

问题定义：论文旨在解决多模态主动学习中，如何有效地选择最具信息量的样本进行标注，以在有限的标注预算下最大化模型性能的问题。现有方法的痛点在于，它们通常假设模态的重要性是静态的，并且忽略了样本难度的变化，导致选择的样本可能并非最优，从而限制了模型性能的提升。

核心思路：论文的核心思路是将样本选择过程建模为一个马尔可夫决策过程（MDP），并使用强化学习来训练一个策略，该策略能够根据当前模型的状态（包括模态的贡献和样本的难度）动态地选择样本。通过强化学习的奖励机制，鼓励选择能够提高模型准确率和平衡模态贡献的样本。

技术框架：RL-MBA框架主要包含以下几个模块：1) 状态表示：用于描述当前模型的状态，包括各个模态的贡献程度和样本的难度。2) 策略网络：用于根据当前状态选择要标注的样本。3) 奖励函数：用于评估选择的样本对模型性能的影响，包括准确率的提升和模态平衡的程度。4) 自适应模态贡献平衡（AMCB）：通过强化反馈动态调整模态权重。5) 用于难度感知策略调整的证据融合（EFDA）：通过基于不确定性的证据融合来估计样本难度，从而优先考虑信息量大的样本。

关键创新：论文的关键创新在于：1) 将样本选择建模为一个动态的决策过程，并使用强化学习来优化选择策略。2) 提出了自适应模态贡献平衡（AMCB）机制，能够根据模型的训练状态动态调整模态的权重。3) 提出了基于证据融合的难度感知策略调整（EFDA）方法，能够更准确地估计样本的难度，从而选择更具信息量的样本。

关键设计：AMCB通过强化学习的反馈信号动态调整每个模态的权重，具体来说，奖励函数会考虑每个模态对模型性能的贡献，并根据贡献的大小调整模态的权重。EFDA使用Dempster-Shafer证据理论来融合来自不同模态的不确定性估计，从而得到更准确的样本难度评估。策略网络可以使用任何标准的强化学习算法进行训练，例如Q-learning或Policy Gradient。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RL-MBA在Food101、KineticsSound和VGGSound数据集上均优于现有主动学习方法。例如，在Food101数据集上，RL-MBA在相同标注预算下，相比最佳基线方法，分类准确率提升了超过3%。此外，RL-MBA还能够有效平衡不同模态的贡献，避免模型过度依赖单一模态，从而提高了模型的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可应用于各种多模态数据分析场景，例如：多媒体内容理解（视频、音频、文本），医疗诊断（图像、文本），自动驾驶（图像、激光雷达、传感器数据）等。通过主动学习，可以显著降低标注成本，加速模型训练，并提升模型在资源受限环境下的性能。未来，该方法可以进一步扩展到更复杂的多模态任务和数据集上。

📄 摘要（原文）

Multimodal learning integrates complementary information from different modalities such as image, text, and audio to improve model performance, but its success relies on large-scale labeled data, which is costly to obtain. Active learning (AL) mitigates this challenge by selectively annotating informative samples. In multimodal settings, many approaches implicitly assume that modality importance is stable across rounds and keep selection rules fixed at the fusion stage, which leaves them insensitive to the dynamic nature of multimodal learning, where the relative value of modalities and the difficulty of instances shift as training proceeds. To address this issue, we propose RL-MBA, a reinforcement-learning framework for modality-balanced, difficulty-aware multimodal active learning. RL-MBA models sample selection as a Markov Decision Process, where the policy adapts to modality contributions, uncertainty, and diversity, and the reward encourages accuracy gains and balance. Two key components drive this adaptability: (1) Adaptive Modality Contribution Balancing (AMCB), which dynamically adjusts modality weights via reinforcement feedback, and (2) Evidential Fusion for DifficultyAware Policy Adjustment (EFDA), which estimates sample difficulty via uncertainty-based evidential fusion to prioritize informative samples. Experiments on Food101, KineticsSound, and VGGSound demonstrate that RL-MBA consistently outperforms strong baselines, improving both classification accuracy and modality fairness under limited labeling budgets.