Offline Guidance, Online Reasoning: Reusing LLM Feedback for Small Language Models

📄 arXiv: 2609.39346v1 📥 PDF

作者: Bohan Zhang, Linan Yue, Weibo Gao, Pengyu Chen, Hong Guo, Yanqi Hao

分类: cs.CL

发布日期: 2026-09-30

备注: 29 pages. Code: https://github.com/ZBH031/reusable-latent-correction

🔗 代码/项目: GITHUB

💡 一句话要点

提出可重用潜在修正方法以提升小型语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 大型语言模型 推理能力 可重用潜在修正 自然语言处理 知识蒸馏 在线推理

📋 核心要点

  1. 现有方法主要依赖在线访问LLM，导致重复调用和指导信息的浪费，限制了小型语言模型的推理能力提升。
  2. 本文提出的可重用潜在修正（RLC）方法，通过将LLM的指导转化为可存储的修正经验，允许SLM在推理时重用这些经验。
  3. 实验结果显示，RLC在多个推理基准上显著提升了SLM的推理性能，且无需进行参数更新或在线LLM调用。

📝 摘要（中文）

大型语言模型（LLMs）具备强大的推理能力，但通过商业API访问成本高昂，而小型语言模型（SLMs）易于本地部署但推理能力较弱。为了解决这一能力与部署之间的差距，本文提出了一种新方法——可重用潜在修正（RLC），该方法将LLM生成的自然语言指导转化为SLM隐藏空间中的持久修正经验。RLC在推理过程中无需在线访问LLM，通过外部存储库根据SLM当前的推理状态检索这些经验，从而提升SLM的推理能力。实验结果表明，RLC在多个推理基准和SLM规模上均能有效提升SLM的推理性能，无需参数更新或在线LLM调用。

🔬 方法详解

问题定义：本文旨在解决小型语言模型在推理能力上相较于大型语言模型的不足，现有方法需频繁在线访问LLM，导致资源浪费和效率低下。

核心思路：提出可重用潜在修正（RLC）方法，将LLM生成的指导信息转化为持久的修正经验，存储于外部库中，SLM在推理时根据当前状态检索这些经验，从而避免在线调用LLM。

技术框架：RLC方法的整体架构包括三个主要模块：1) LLM生成的指导信息；2) 外部存储库用于存储修正经验；3) SLM在推理时根据当前状态检索并应用这些经验。

关键创新：RLC的核心创新在于将一次性生成的指导信息转化为可重用的修正经验，这一设计使得SLM能够在推理过程中有效利用LLM的知识，而无需每次都在线访问LLM。

关键设计：在RLC中，关键设计包括如何将LLM的指导信息编码为修正经验，以及如何高效地检索这些经验以适应SLM的推理状态，具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLC方法在多个推理基准上均显著提升了小型语言模型的推理性能，具体表现为在某些任务上相较于基线提升了10%以上，且无需进行参数更新或在线调用LLM，显示出其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话生成、文本理解等，能够有效提升小型语言模型在实际应用中的推理能力，降低对大型语言模型的依赖，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) offer strong reasoning capabilities but are often costly to access through commercial APIs, while small language models (SLMs) are easier to deploy locally yet remain weaker in reasoning. This capability-deployment gap has motivated LLM-SLM collaboration, which aims to improve SLM reasoning using LLM capabilities while preserving the deployment advantages of SLMs. Existing approaches mainly follow two paradigms. Knowledge distillation uses LLM-generated answers and reasoning trajectories to train SLMs offline, but requires parameter updates and additional training. Alternatively, online collaboration routes difficult problems to an LLM or leverages LLM-generated guidance and corrections when an SLM encounters difficulties. Although effective, online collaboration requires repeated LLM access. Moreover, the guidance produced for a particular problem is discarded after inference and cannot benefit subsequent problems involving similar reasoning states. In the paper, we focus on a more constrained setting in which the LLM is accessed only offline, the SLM parameters remain fixed, and online inference is performed solely by the SLM. To this end, we propose Reusable Latent Correction (RLC), which converts one-off natural-language guidance from a black-box LLM into persistent corrective experiences in the hidden space of an SLM. RLC stores these experiences in an external bank and retrieves them according to the SLM's current reasoning state, enabling the SLM to reuse LLM-derived corrections during inference without any online LLM calls. Experiments across multiple reasoning benchmarks and SLM scales show that RLC consistently improves SLM reasoning without parameter updates or online LLM calls. Code is available at https://github.com/ZBH031/reusable-latent-correction.