Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget

📄 arXiv: 2610.01236v1 📥 PDF

作者: Yongjun Kim, Xiaoxiao Li, Jaeho Lee

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出信息获取方法以优化SLM-LLM协作

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小语言模型 大语言模型 信息获取 协作优化 强化学习

📋 核心要点

  1. 现有SLM-LLM协作方法在黑箱API环境中效率低下，存在粗粒度委托和上下文重复传输的问题。
  2. 本文提出将SLM-LLM协作视为信息获取问题，SLM在必要时向LLM发出有针对性的查询，而非完全委托推理过程。
  3. 实验结果显示，本文方法在数学推理和编码任务中提升了性能与成本的平衡，部分情况下超越了现有的基线方法。

📝 摘要（中文）

小语言模型（SLM）与大语言模型（LLM）之间的协作为结合小模型的高效性与大模型的推理能力提供了机会。现有方法主要将这种协作视为计算分配问题，但在黑箱API环境下，这种方法可能因粗粒度的委托或上下文的重复传输而效率低下。本文将SLM-LLM协作重新定义为在API预算约束下的信息获取问题，SLM作为主要推理者，仅在必要时向LLM顾问发出有针对性的查询。为实现这一策略，我们开发了三阶段的RLVR框架，学习何时调用顾问、如何制定有用的查询以及如何将协作整合到推理过程中。实验结果表明，该方法在数学推理和编码任务中改善了性能与成本的权衡，并在某些设置中超越了现有基线。

🔬 方法详解

问题定义：本文旨在解决SLM与LLM协作中的效率低下问题，现有方法在黑箱API环境中存在粗粒度的计算分配和上下文重复传输的痛点。

核心思路：我们将SLM-LLM协作重新定义为信息获取问题，SLM作为主要推理者，仅在必要时向LLM发出有针对性的查询，避免不必要的推理委托。

技术框架：我们提出了三阶段的RLVR框架，包括顾问调用决策、查询制定和协作整合三个模块，通过强化学习优化这些过程。

关键创新：最重要的创新在于将协作视为信息获取而非计算分配，SLM能够根据需要动态查询LLM，从而提高了整体推理效率。

关键设计：在设计中，我们设置了适当的预算约束，采用了特定的损失函数来优化顾问调用的决策，并设计了有效的查询生成机制以确保信息的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，本文方法在数学推理和编码任务中相较于现有基线方法显著提升了性能与成本的权衡。在某些设置中，甚至达到了超越oracle问题级路由的效果，展示了方法的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、编程辅助工具和教育技术等。通过优化SLM与LLM的协作方式，可以在资源受限的环境中实现更高效的推理和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Collaboration between a small language model (SLM) and a large language model (LLM) offers an opportunity to combine the efficiency of smaller models with the strong reasoning capabilities of larger ones. Existing approaches primarily frame such collaboration as a computation allocation problem, determining which model should handle each portion of the reasoning process. In black-box API-based settings, however, this paradigm can be inefficient due to coarse-grained delegation or repeated transmission of context across model switches. In this work, we instead formulate SLM-LLM collaboration as an information acquisition problem, under an API budget constraint. The SLM remains the primary reasoner and selectively queries a black-box LLM advisor only when needed, issuing targeted queries rather than delegating the reasoning process itself. To realize this strategy, we develop a three-stage RLVR framework that learns whether to call the advisor, how to formulate useful queries, and how to integrate the collaboration into the reasoning process by jointly refining advisor invocation and information use. Across mathematical reasoning and coding tasks, our approach improves the performance--cost tradeoff over existing collaboration baselines and, in some settings, matches or exceeds oracle problem-level routing. Finally, we show that our strategy can transfer to other advisor model families, without further training.