Can Computation from Earlier Problems Help LLMs Solve New Ones?

📄 arXiv: 2609.39394v1 📥 PDF

作者: Jipei He, Wenhui Tan, Xiaoyi Yu, Enver Sangineto, Fiorenzo Parascandolo, Rita Cucchiara, Ruihua Song

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-09-30

备注: 29 pages, 7 figures

💡 一句话要点

提出STAIR以提升大语言模型在新问题上的解决能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 问题解决 信息重用 推理能力 机器学习

📋 核心要点

  1. 核心问题：现有的大语言模型在处理新问题时，如何有效利用之前问题的计算结果仍然是一个挑战。
  2. 方法要点：本文提出STAIR，通过固定存储库捕获早期响应的关键信息，以增强后续问题的推理能力。
  3. 实验或效果：在多个模型和基准测试中，STAIR显著提高了后续回合的准确率，最高提升达11.67个百分点。

📝 摘要（中文）

大语言模型在同一对话中常常解决独立的问题。本文探讨早期问题的计算是否能帮助其解决新问题。通过初步实验，我们发现保留历史信息可以提高或降低后续回合的准确性。为了解这些影响，我们使用控制重放技术，隔离每个问题-历史配对的内部状态变化。为了改善在保留历史下的推理能力，我们提出了STAIR（Stale-Token Attention for Inter-query Reuse），该方法在固定的存储库中捕获早期响应生成的键和值，并在提示处理时重定向当前查询。实验结果表明，STAIR在三个Qwen模型和四个基准测试中，平均提升后续回合准确率高达11.67个百分点。

🔬 方法详解

问题定义：本文旨在解决大语言模型在面对新问题时，如何有效利用之前问题的计算结果的问题。现有方法在历史信息的利用上存在不足，导致后续问题的解决效果不稳定。

核心思路：论文提出的STAIR方法通过固定存储库来捕获早期问题的响应信息，允许模型在处理当前查询时重用这些信息，从而提高推理的准确性和一致性。

技术框架：STAIR的整体架构包括两个主要模块：一个是用于存储早期响应生成的键和值的固定存储库，另一个是用于在处理当前查询时读取和重定向这些信息的机制。模型的基础部分保持不变，仅训练了12,288个参数。

关键创新：STAIR的主要创新在于其通过固定存储库实现的跨查询信息重用能力，这与传统方法依赖于动态上下文的方式有本质区别。

关键设计：在技术细节上，STAIR设计了特定的参数设置和损失函数，以确保模型能够有效学习如何从存储库中提取和重定向信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，STAIR在三个Qwen模型上和四个基准测试中，平均提升后续回合的准确率高达11.67个百分点，相较于未修改的模型表现出显著的性能提升，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、教育辅导和自动化内容生成等场景。通过提升大语言模型在新问题上的解决能力，能够显著提高用户体验和系统效率，未来可能在多种人机交互场景中发挥重要作用。

📄 摘要（原文）

Large language models often solve independent problems in the same conversation. Can computation from earlier problems help them solve new ones? To answer this question, we first conduct preliminary experiments showing that retained history can raise or lower later-turn accuracy, even within the same domain. To understand these effects, we use controlled replay to isolate internal state changes specific to each problem-history pairing. Across different histories, these changes preserve similar relationships among current problems. To improve reasoning under retained history, we introduce STAIR (Stale-Token Attention for Inter-query Reuse). STAIR captures keys and values from earlier response generation in a fixed bank. It learns to redirect current queries when they read this bank during prompt processing. The base model remains frozen; only 12,288 parameters are trained. Across three Qwen models and four benchmarks, STAIR improves average later-turn accuracy by up to 11.67 percentage points over the unmodified model with history.