MS-TTRL: Breaking the Frequency Conflict in Multiple-Solution Test-Time Reinforcement Learning

📄 arXiv: 2610.32234v1 📥 PDF

作者: Zhixia Zhang, Binqian Xu, Huaiyang Wang, Yikun Ban, Dianbo Liu

分类: cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出MS-TTRL以解决多解测试时强化学习中的频率冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 测试时强化学习 多解推理 频率冲突 结果级自验证 信心门控机制 自动化推理 智能决策

📋 核心要点

  1. 现有的测试时强化学习方法在处理多解推理时面临频率冲突，导致正确性和多样性之间的权衡困难。
  2. MS-TTRL通过结果级自验证技术解决频率冲突，确保正确性估计不受生成频率影响，同时保留多样性。
  3. 在多个基准测试中，MS-TTRL的恢复率平均提高了19.13个百分点，显示出显著的性能提升。

📝 摘要（中文）

科学、工程和数学推理任务通常存在多个有效解，但全面标注所有解集的成本往往过高。测试时强化学习（TTRL）将强化学习应用于未标注的测试实例，提供了一种无标签的多解推理方法。在这一背景下，生成频率面临两个相互对立的目标：正确性估计倾向于频繁结果，而结果级别的多样性保留则倾向于不频繁结果。我们称这种张力为频率冲突。为了解决这一冲突，我们提出了MS-TTRL，通过结果级自验证获得频率独立的正确性估计，同时将生成频率仅用于多样性保留。实验表明，MS-TTRL在多个基准、四个多解任务和三个基础模型上，平均提高了19.13个百分点的恢复率，接近监督学习的IPS-GRPO性能。

🔬 方法详解

问题定义：论文要解决的具体问题是多解推理中的频率冲突，现有方法在正确性和多样性之间难以平衡，导致性能下降。

核心思路：论文的核心解决思路是通过结果级自验证来获得频率独立的正确性估计，同时将生成频率仅用于多样性保留，这样可以有效解决频率冲突。

技术框架：整体架构包括三个主要模块：结果级自验证、三态结果缓存和候选状态支持，确保在重复观察中重用验证结果，并对模糊结果进行信心感知处理。

关键创新：最重要的技术创新点在于引入了信心门控逆概率缩放机制，选择性地增强稀有且可靠验证结果的学习信号，这与现有方法的设计思路有本质区别。

关键设计：在参数设置上，采用了信心门控机制来调整学习信号的强度，损失函数设计上考虑了多样性和正确性之间的平衡，网络结构则支持高效的结果验证与重用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MS-TTRL在多个基准测试中，平均恢复率提高了19.13个百分点，相较于最佳无标签基线表现出显著优势，并接近监督学习的IPS-GRPO性能，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括科学计算、工程设计和复杂决策系统等，能够在需要多解推理的场景中提供有效的解决方案。未来，MS-TTRL可能在自动化推理和智能决策支持系统中发挥重要作用，提升系统的智能化水平和决策质量。

📄 摘要（原文）

Scientific, engineering, and mathematical reasoning tasks can admit multiple valid solutions, while exhaustive annotation of the full solution set is often prohibitively costly. Test-time reinforcement learning (TTRL) applies reinforcement learning to unlabeled test instances, offering a label-free approach to multiple-solution reasoning. In this setting, generation frequency serves two opposing objectives: correctness estimation favors frequent outcomes, whereas outcome-level diversity preservation favors less frequent outcomes. We term this tension the \textbf{Frequency Conflict}. To resolve this conflict, we propose MS-TTRL, which obtains frequency-independent correctness estimates through Outcome-Level Self-Verification while reserving generation frequency solely for diversity preservation. Three-State Outcome Cache and the Candidate State support verification reuse across repeated observations and confidence-aware handling of ambiguous outcomes, while Confidence-Gated Inverse Probability Scaling selectively strengthens the learning signals of rare, reliably verified outcomes. Experiments across two benchmarks, four multiple-solution tasks, and three backbone models, each evaluated with five random seeds, show that MS-TTRL improves Recovery Rate by 19.13 percentage points on average over the best-performing label-free baseline and approaches the performance of the supervised IPS-GRPO.