CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning

📄 arXiv: 2610.02039v1 📥 PDF

作者: Yafei Zhang, Songshuo Lu, Sicong Liao, Zhi Chen, Yaohua Tang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-01

备注: 28 pages, 11 figures, 5 tables

💡 一句话要点

提出CARM以解决LLM强化学习中的响应掩蔽问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 响应掩蔽 数学推理 代码生成 策略更新 优化方法

📋 核心要点

  1. 现有的序列级掩蔽方法在处理响应偏差时存在显著的双向策略漂移问题，影响了优化效果。
  2. CARM通过对每个标记的对数比值取绝对值，避免了相反概率变化的抵消，从而提升了响应的有效性。
  3. 实验结果显示，CARM在多个基准测试中相较于几何平均掩蔽提升了3.13个百分点，并在代码基准上提高了2.88个百分点。

📝 摘要（中文）

近年来，强化学习在大型语言模型（LLM）后训练中的快速应用取得了显著的数学推理和代码生成能力。然而，策略更新和采样响应的偏差使得响应可能偏离训练策略。现有的序列级掩蔽方法通过决定整个响应是否参与优化来解决这一问题，但其使用的长度归一化几何平均掩蔽规则可能会掩盖显著的双向策略漂移。为此，本文提出了取消感知响应掩蔽（CARM），该方法在平均之前取每个标记的对数比值的绝对值，从而防止相反的概率变化相互抵消。实验结果表明，CARM在数学推理和代码生成任务中显著提升了性能，验证了其在LLM强化学习中的有效性。

🔬 方法详解

问题定义：本文旨在解决LLM强化学习中响应的偏差问题，现有方法在处理策略更新时可能导致响应不符合训练策略，影响优化效果。

核心思路：CARM的核心思想是通过对每个标记的对数比值取绝对值，避免相反的概率变化相互抵消，从而提高响应的有效性和优化效果。

技术框架：CARM的整体架构包括响应采样、对数比值计算、绝对值处理和序列级掩蔽四个主要模块，确保每个步骤都能有效控制响应的偏差。

关键创新：CARM的主要创新在于采用绝对值处理对数比值，这一设计与传统的几何平均掩蔽方法本质上不同，能够更好地反映响应的真实价值。

关键设计：在CARM中，关键参数包括对数比值的计算方式和掩蔽策略的设计，损失函数则基于响应的有效性进行优化，确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CARM在数学推理和代码生成任务中相较于几何平均掩蔽提升了3.13个百分点，并在四个代码基准上提高了2.88个百分点，显示出其在响应级别的偏差控制方面的显著优势。

🎯 应用场景

CARM的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效响应生成的任务中，如自动编程、智能问答和对话系统等。通过提升模型的响应质量，CARM能够为实际应用提供更可靠的支持，推动智能系统的发展。

📄 摘要（原文）

Recent years have witnessed the rapid adoption of reinforcement learning (RL) in large language model (LLM) post-training, with substantial gains in mathematical reasoning and code generation. In practical systems, however, policy updates and differences between rollout and training engines can make sampled responses off-policy. Sequence-level masking addresses this mismatch by deciding whether an entire response should contribute to optimization. A common masking rule uses the length-normalized geometric mean of sampled token probability ratios. Its signed log-ratios can cancel across positions, concealing substantial bidirectional policy drift. We propose \emph{Cancellation-Aware Response Masking} (CARM), a sequence-level mask that takes the absolute value of each token log-ratio before averaging, preventing opposing probability changes from canceling. We prove that accepted responses satisfy a joint bound on the fraction of sampled-token ratios outside a prescribed band and their mean log-distance beyond its boundaries. Experiments on mathematical reasoning and code generation show that CARM improves mean@16 averaged over AIME 2024/2025/2026 and BeyondAIME by up to $3.13$ percentage points over geometric-mean masking, and increases average pass@1 across four code benchmarks by $2.88$ points over the strongest evaluated baseline. These findings support CARM as a theoretically grounded and effective method for response-level off-policy control in LLM reinforcement learning.