Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces

📄 arXiv: 2609.18587v1 📥 PDF

作者: Naveen Vakada, Mingyuan Li, Shaoxiong Ji

分类: cs.LG, cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出无标签偏置引导方法以解决测试时强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 测试时强化学习 无标签学习 偏置引导 模型适应 多模态推理

📋 核心要点

  1. 现有的测试时强化学习方法通常需要优化大量参数，导致效率低下和资源浪费。
  2. 本文提出了一种无标签的偏置引导TTRL方法，仅优化少量偏置参数，利用多数投票伪标签作为奖励。
  3. 在MATH-500数据集上，该方法达到了76.67%的准确率，且在多个任务中表现出色，显示出良好的适应性。

📝 摘要（中文）

测试时强化学习（TTRL）使模型在无需标签训练数据的情况下提升推理能力，但现有方法通常需要优化大量模型参数。本文提出无标签偏置引导的TTRL方法，利用多数投票伪标签作为奖励，仅优化约10万偏置参数，同时保持预训练骨干网络不变。在MATH-500数据集上，该方法达到了76.67%的准确率，超越了自身的标签偏置引导重现结果，同时优化的参数数量比全参数TTRL少了76,000倍。相同的训练过程在多个视觉语言和音频推理任务中也提升了性能，表明该方法具有广泛的适用性。最后，分析了这种高度受限的适应性为何有效，显示多数投票的可靠性随着回滚共识的提高而改善，且具有更大可访问梯度能量的偏置子空间展现出更强的下游可训练性。

🔬 方法详解

问题定义：本文旨在解决现有测试时强化学习方法在优化过程中需要调整大量参数的问题，这不仅效率低下，还可能导致过拟合。

核心思路：提出无标签偏置引导的TTRL方法，通过利用多数投票伪标签作为奖励，优化少量偏置参数，从而实现有效的模型适应。

技术框架：整体架构包括固定的预训练骨干网络和一个小型的偏置参数优化模块。训练过程中，模型通过伪标签获得奖励，优化偏置参数以提升性能。

关键创新：最重要的创新在于通过限制优化空间至偏置参数，显著减少了需要调整的参数数量，同时保持了模型的推理能力。与传统方法相比，这种方法在效率和适应性上有显著提升。

关键设计：在参数设置上，仅优化约10万的偏置参数，使用多数投票伪标签作为奖励信号，确保了模型在测试时的高效适应性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，该方法在MATH-500数据集上达到了76.67%的准确率，优化参数数量比全参数TTRL少了76,000倍，且在多个视觉语言和音频推理任务中同样表现出色，验证了其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用场景包括教育领域的自动化评估、智能辅导系统以及其他需要实时适应的推理任务。通过减少对标签数据的依赖，该方法能够在资源有限的情况下提升模型性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Test-time reinforcement learning (TTRL) enables models to improve their reasoning without relying on labeled training data, but existing approaches typically optimize a large fraction of the model parameters. This raises a natural question: can effective test-time adaptation emerge when both the reward signal and the optimization space are severely restricted? We answer this question with label-free bias-only TTRL, which uses majority-vote pseudo-labels as rewards and optimizes only approximately 100K bias parameters while keeping the pretrained backbone frozen. On MATH-500, our approach reaches 76.67% accuracy, slightly exceeding our own labeled bias-steering reproduction while optimizing 76,000x fewer parameters than full-parameter TTRL. The same training procedure improves performance across vision-language and audio reasoning tasks, including MathVista, AI2D, LogicVista, and MMAU. We further show that the learned steering vectors transfer to 4,500 held-out MATH problems, indicating that the adaptation is not limited to the problems used during test-time optimization. Finally, we analyze why this highly restricted adaptation can work, showing that majority-vote reliability improves with rollout consensus and that bias subspaces with greater accessible gradient energy exhibit stronger downstream trainability. These results demonstrate that substantial test-time adaptation can emerge from optimizing a tiny bias-only subspace using entirely label-free rewards.