MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

📄 arXiv: 2607.18006v1 📥 PDF

作者: Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

分类: cs.LG, cs.AI, cs.CL, cs.MA

发布日期: 2026-07-20

备注: 20 pages, 3 figures, 9 tables, 2 algorithms, under review at TMLR

💡 一句话要点

提出MADA-RL以解决紧凑模型推理效率低的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体学习 辩论感知 强化学习 紧凑模型 参数效率 数学推理 LoRA适配器

📋 核心要点

  1. 现有大型语言模型在推理性能上表现出色，但训练成本高，尤其是紧凑模型面临预算限制。
  2. MADA-RL通过将紧凑模型分为生成器和评论者角色，并引入辩论感知学习信号，优化了训练过程。
  3. 在五个数学推理基准上，MADA-RL显著提升了模型准确率，并减少了可训练参数的数量。

📝 摘要（中文）

大型语言模型在推理性能上表现优异，但训练成本高昂，尤其是对于参数较少的紧凑模型（≤4B参数）而言。本文提出MADA-RL，一个后训练框架，将紧凑模型专门化为生成器和评论者角色，并通过辩论感知学习信号进行训练，仅微调少量参数。核心贡献是反事实评论者优势：一种动态的、角色条件化的基线，重新定义评论者的优势为其奖励减去生成器集的每实例准确率。这种方法显著优化评论者，使其能够针对生成器共识进行改进，而不仅仅是复现正确答案。在五个数学推理基准上，MADA-RL将DeepSeek-R1-Distill-Qwen-1.5B模型的准确率从39.9%提升至41.9%，使用的可训练参数比完全微调的基线少16倍，显示出其在准确率与可训练参数之间的优越性。

🔬 方法详解

问题定义：本文旨在解决紧凑模型在推理效率低和训练成本高的问题。现有方法通常需要大量参数进行微调，导致资源消耗过大。

核心思路：MADA-RL通过将模型分为生成器和评论者角色，利用辩论感知学习信号来优化评论者的表现，从而提高整体推理能力。

技术框架：MADA-RL的整体架构包括生成器和评论者两个主要模块，生成器负责生成答案，评论者则通过反事实评论者优势来评估生成的答案。训练过程中仅微调少量参数，采用LoRA适配器。

关键创新：反事实评论者优势是MADA-RL的核心创新，它通过动态调整评论者的基线，使其能够更有效地纠正生成器的错误，而不是简单模仿。

关键设计：在训练过程中，采用了角色条件化的奖励机制，评论者的优势被定义为其奖励减去生成器的准确率。此外，使用LoRA适配器来减少可训练参数的数量，确保训练效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

MADA-RL在五个数学推理基准上将DeepSeek-R1-Distill-Qwen-1.5B模型的准确率从39.9%提升至41.9%，提升幅度达到2.0个百分点，且使用的可训练参数比完全微调的基线少16倍。这一结果表明MADA-RL在准确率与参数效率之间达成了良好的平衡。

🎯 应用场景

MADA-RL的研究成果在紧凑模型的推理任务中具有广泛的应用潜力，尤其是在资源受限的环境中，如移动设备和边缘计算。通过提高模型的推理效率，该方法可以促进智能助手、自动问答系统等领域的发展，降低部署成本。未来，该框架还可能扩展到其他类型的模型和任务中，推动更高效的人工智能应用。

📄 摘要（原文）

Large language models achieve strong reasoning performance, but often at prohibitive training cost - a challenge that is especially acute for compact models ($\leq 4 \, \mathrm{B}$ parameters) trained under limited budgets. We introduce MADA-RL, a post-training framework that specializes compact models into generator and critic roles and trains them with a debate-aware learning signal, fine-tuning only a small subset of parameters via LoRA adapters. Our central contribution is a counterfactual critic advantage: a dynamic, role-conditioned baseline that redefines the critic's advantage as its reward minus the generator ensemble's per-instance accuracy. This explicitly optimizes critics to improve over generator consensus rather than to merely reproduce a correct answer, yielding more targeted credit assignment than static mean-reward normalization. At deployment, the specialized agents are composed in a lightweight multi-round protocol. Across five mathematical reasoning benchmarks, MADA-RL raises the accuracy of the DeepSeek-R1-Distill-Qwen-1.5B model from $39.9 \, \%$ to $41.9 \, \%$ ($+2.0$ points, $p < 0.001$) using $16$ times fewer trainable parameters than fully fine-tuned baselines, placing it on the accuracy-trainable-parameter Pareto front. It approaches, but does not surpass, the strongest baselines (DeepScaleR, STILL-3), which are trained on substantially larger datasets; we analyse this gap and the associated inference-time cost directly. A controlled study isolates the source of MADA-RL's gains: the counterfactual advantage produces the highest critic improvement rate of any model evaluated, indicating that trained critics learn to correct generator errors rather than to imitate them.