Sharpen Before You Adapt: Data-Free Entry-State Sharpening for Test-Time Reinforcement Learning
作者: Zhanming Zhang, Vinoth Selvendran
分类: cs.LG
发布日期: 2026-10-01
备注: 10 pages, 2 figures, 3 tables
💡 一句话要点
提出数据无关的入口状态锐化以提升测试时强化学习效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 测试时强化学习 入口状态锐化 数据无关训练 自我监督 模型适应性
📋 核心要点
- 现有的测试时强化学习方法在入口状态选择上存在不足，模糊策略导致自我监督效果差，适应预算浪费严重。
- 本文提出入口状态锐化，通过数据无关的训练在TTRL之前优化检查点，使其更适合后续的无标签适应。
- 实验结果显示，入口策略熵与最终转换效率高度相关，SPIRAL模型在无数学训练数据的情况下仍能取得最佳准确率。
📝 摘要（中文）
测试时强化学习（TTRL）通过自我样本在无标签测试问题上调整语言模型，入口状态的选择至关重要。模糊的策略会导致自我监督噪声增大，浪费适应预算。本文提出了入口状态锐化的方法，通过数据无关的训练在TTRL之前准备通用检查点，使后续的无标签适应更加高效。实验表明，入口策略熵显著影响最终转换效率，且不同的无数据目标可以将相同的基础模型移动到不同的入口状态，进而提升TTRL的准确性。
🔬 方法详解
问题定义：本文旨在解决测试时强化学习中入口状态选择不当导致的自我监督效果差的问题。现有方法往往依赖模糊策略，造成适应预算的浪费。
核心思路：提出入口状态锐化的概念，通过数据无关的训练在TTRL之前优化模型的入口状态，使其能够更高效地进行无标签适应。
技术框架：整体流程包括数据无关的训练阶段和测试时强化学习阶段。首先，通过不同的无数据目标对基础模型进行训练，形成多个检查点；然后在TTRL阶段利用这些检查点进行无标签适应。
关键创新：最重要的创新在于将入口状态的准备视为一个状态控制问题，通过数据无关训练提升TTRL的准备度，使用入口熵作为无标签控制信号。
关键设计：在实验中，采用了不同的无数据目标来训练模型，设置了入口熵作为评估标准，并通过自我蒸馏干预进一步优化入口状态。
🖼️ 关键图片
📊 实验亮点
实验结果显示，入口策略熵与最终转换效率呈强相关性，Spearman相关系数为-0.90，经过控制后为-0.99。SPIRAL模型在无数学训练数据的情况下，达到了0.07 nats的熵，并在MATH和GPQA任务中取得了最高的后TTRL准确率。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器人控制和智能系统等。通过优化测试时强化学习的入口状态，可以显著提升模型在实际应用中的适应能力和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Test-time reinforcement learning (TTRL) adapts language models on unlabeled test problems using supervision derived from their own samples. This makes the checkpoint's \emph{entry state} consequential: a diffuse policy provides noisier self-supervision and may spend much of a limited adaptation budget merely concentrating probability mass before reliably expressing capability it already possesses. We propose \textbf{entry-state sharpening}: use data-free training \emph{before} TTRL to prepare a general-purpose checkpoint in a state that subsequent label-free adaptation can exploit more efficiently. The idea is not tied to one training recipe; different data-free objectives can move the same base model to different entry states. Across five data-free checkpoints derived from Qwen3-4B and evaluated under an identical 15-step TTRL protocol, entry policy entropy strongly rank-orders endpoint conversion efficiency, a reliability-to-reachability measure (Spearman $ρ=-0.90$; $ρ=-0.99$ after controlling for entry reachability). The contrast across objectives is striking: R-Zero remains diffuse at $3.39$ nats and finishes below the untuned base in 6/6 matched comparisons across MATH, GPQA, and AMC, whereas SPIRAL reaches $0.07$ nats and achieves the highest post-TTRL accuracy on MATH and GPQA despite its self-play stage using no math training data. An in-domain label-free self-distillation intervention further shows that the entry state can be deliberately sharpened. These results motivate treating checkpoint preparation as a \emph{state-control problem}: use data-free training to improve TTRL readiness, with entry entropy as a label-free control signal and reachable capability as the constraint.