PaceReasoner: Label-Free Learning to Answer Briefly from Long Reasoning
作者: Changguo Jia, Zhiyou Xiao, Xinbei Ma, Geng Chen, Weiming Zhang, Yiming Xu, Tianqi Zhao, Minghui Zhou
分类: cs.AI, cs.LG
发布日期: 2026-10-13
💡 一句话要点
提出PaceReasoner以提高短时推理的准确性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无标签学习 强化学习 推理优化 自然语言处理 智能问答
📋 核心要点
- 现有的推理方法在扩展链式推理时，虽然提高了问题解决能力，但也显著增加了推理的时间和成本。
- PaceReasoner通过无标签的强化学习框架，利用长响应来提升短响应的准确性，且两者共享可训练策略。
- 在多个基准测试中，PaceReasoner显著提高了短模式的准确性，且推理标记数量保持在较低水平。
📝 摘要（中文）
扩展的链式推理虽然提升了问题解决能力，但也增加了推理成本和延迟，因此需要更短的推理时间来获得更准确的答案。本文提出了PaceReasoner，这是一个无标签的测试时强化学习框架，利用模型的长响应来提高其短模式的准确性。两种模式共享一个可训练的策略，要求可靠的监督、足够的短样本训练以及持续的长响应以指导学习。PaceReasoner通过逐步的、基于置信度的监督结合所有响应和仅长响应的答案共识。行为奖励逐渐从鼓励短探索转向奖励与长答案的一致性，同时比率控制器调节两种模式之间的平衡。在三个模型骨干和四个基准测试中，PaceReasoner在短模式的平均准确性上比基线提高了7.4至13.5个百分点，平均每个响应少于25个推理标记。消融实验支持了关键组件，跨数据集结果展示了超越适应集的迁移能力。
🔬 方法详解
问题定义：本文旨在解决扩展链式推理带来的高推理成本和延迟问题，现有方法在短时间内难以提供准确答案。
核心思路：PaceReasoner通过无标签的强化学习框架，利用模型的长响应来指导短响应的学习，从而提高短模式的准确性。
技术框架：该方法包括两个主要模式：短模式和长模式，二者共享一个可训练的策略。通过逐步的置信度加权监督，结合所有响应和仅长响应的答案共识，来优化学习过程。
关键创新：PaceReasoner的创新在于其无标签学习机制和行为奖励的动态调整，逐步从短探索转向与长答案的一致性奖励，这种设计在现有方法中尚未见到。
关键设计：在设计中，使用了比率控制器来调节短模式与长模式之间的平衡，确保在推理过程中能够有效利用长响应的信息，同时保持短响应的高效性。具体的损失函数和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
在实验中，PaceReasoner在短模式的平均准确性上比基线提高了7.4至13.5个百分点，且每个响应的推理标记数量平均少于25个，显示出其在效率和准确性上的显著优势。
🎯 应用场景
PaceReasoner的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、智能问答系统和机器人决策等。通过提高短时间内的推理准确性，该方法能够提升智能系统在实时交互中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Extended chain-of-thought reasoning improves problem-solving performance but increases inference cost and latency, motivating more accurate answers with shorter reasoning. We introduce PaceReasoner, a label-free test-time reinforcement learning framework that uses a model's LONG responses to improve its SHORT-mode accuracy. Both modes share a trainable policy, creating a need for reliable supervision, sufficient SHORT training samples, and continued LONG responses to guide learning. PaceReasoner combines all-response and LONG-only answer consensus through progressive, confidence-weighted supervision. A behavior reward gradually shifts from encouraging SHORT exploration to rewarding agreement with LONG answers, while a ratio controller regulates the balance between modes. Across three model backbones and four benchmarks, PaceReasoner improves average SHORT accuracy over the baselines by 7.4--13.5 percentage points, with fewer than 25 reasoning tokens per response on average. Ablations support the key components, and cross-dataset results demonstrate transfer beyond the adaptation set.