Log-Augmented Generation: Scaling Test-Time Reasoning with Reusable Computation

📄 arXiv: 2505.14398v1 📥 PDF

作者: Peter Baile Chen, Yi Zhang, Dan Roth, Samuel Madden, Jacob Andreas, Michael Cafarella

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-20

备注: Data and code are available at https://peterbaile.github.io/lag/

💡 一句话要点

提出Log-Augmented Generation，通过复用历史计算提升LLM在测试时的推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理 知识复用 键值缓存 持续学习

📋 核心要点

  1. 现有大型语言模型难以保留先前任务的推理结果，并在新任务中复用，限制了其学习和适应能力。
  2. Log-Augmented Generation (LAG) 框架通过在测试时重用历史日志中的计算和推理，增强模型在新任务上的表现。
  3. 实验表明，LAG 在知识和推理密集型数据集上显著优于标准Agent系统以及基于反思和KV缓存的现有方法。

📝 摘要（中文）

大型语言模型（LLM）及其Agent在从过去的经验中学习和适应方面存在困难，无法保留先前任务的推理结果并将其应用于未来的环境中。为了解决这个局限性，我们提出了一种新颖的框架，即Log-Augmented Generation（LAG），它在测试时直接重用来自过去日志的先前计算和推理，以增强模型从先前任务中学习的能力，并在新的、未见过的挑战中表现更好，同时保持系统的高效性和可扩展性。具体来说，我们的系统使用键值（KV）缓存来表示任务日志，编码先前任务的完整推理上下文，同时仅为选定的token子集存储KV缓存。当出现新任务时，LAG从相关日志中检索KV值以增强生成。我们的方法不同于基于反思的记忆机制，它直接重用先前的推理和计算，而不需要额外的知识提取或提炼步骤。我们的方法也超越了现有的KV缓存技术，这些技术主要针对效率提升，而不是提高准确性。在知识和推理密集型数据集上的实验表明，我们的方法显著优于不使用日志的标准Agent系统，以及基于反思和KV缓存技术的现有解决方案。

🔬 方法详解

问题定义：现有的大型语言模型及其Agent在处理新任务时，无法有效利用先前任务的推理过程和计算结果。这导致模型需要从头开始解决问题，效率低下，并且难以泛化到新的、未见过的挑战。现有的基于反思的记忆机制需要额外的知识提取或提炼步骤，增加了计算负担。现有的KV缓存技术主要关注效率提升，而忽略了准确性的提高。

核心思路：论文的核心思路是直接重用先前任务的计算和推理结果，而不是重新计算或进行知识提炼。通过将历史任务的推理过程存储在日志中，并在处理新任务时检索相关的日志信息，模型可以利用先前获得的知识和经验，从而提高推理效率和准确性。这种方法类似于人类从过去的经验中学习和适应的能力。

技术框架：LAG框架主要包含以下几个阶段：1) 任务日志存储：使用键值（KV）缓存来表示任务日志，其中键表示任务的上下文信息，值表示相应的推理过程和计算结果。为了减少存储空间，仅为选定的token子集存储KV缓存。2) 日志检索：当出现新任务时，系统会根据任务的上下文信息检索相关的历史日志。3) 生成增强：将检索到的KV值用于增强模型的生成过程。具体来说，将检索到的KV值添加到模型的KV缓存中，从而影响模型的注意力机制和生成概率。

关键创新：LAG的关键创新在于直接重用先前任务的计算和推理结果，而不需要额外的知识提取或提炼步骤。这与现有的基于反思的记忆机制不同，后者需要额外的计算来提取和提炼知识。此外，LAG超越了现有的KV缓存技术，后者主要关注效率提升，而忽略了准确性的提高。LAG通过选择性地存储KV缓存，并在生成过程中利用检索到的KV值，实现了效率和准确性的平衡。

关键设计：论文中关键的设计包括：1) KV缓存的选择策略：如何选择哪些token的KV缓存进行存储，以在存储空间和性能之间取得平衡。2) 日志检索策略：如何根据新任务的上下文信息检索相关的历史日志。3) 生成增强策略：如何将检索到的KV值有效地融入到模型的生成过程中，以提高推理准确性。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LAG在知识和推理密集型数据集上显著优于标准Agent系统以及基于反思和KV缓存的现有方法。具体的性能数据和提升幅度在摘要中有所提及，但未给出具体数值。该方法在提高推理准确性的同时，保持了系统的高效性和可扩展性。

🎯 应用场景

该研究成果可应用于各种需要持续学习和推理的场景，例如智能客服、对话系统、自动问答、代码生成等。通过复用历史任务的推理过程，可以显著提高模型在新任务上的表现，并降低计算成本。未来，该方法有望应用于更复杂的推理任务和更广泛的应用领域。

📄 摘要（原文）

While humans naturally learn and adapt from past experiences, large language models (LLMs) and their agentic counterparts struggle to retain reasoning from previous tasks and apply them in future contexts. To address this limitation, we propose a novel framework, log-augmented generation (LAG) that directly reuses prior computation and reasoning from past logs at test time to enhance model's ability to learn from previous tasks and perform better on new, unseen challenges, all while keeping the system efficient and scalable. Specifically, our system represents task logs using key-value (KV) caches, encoding the full reasoning context of prior tasks while storing KV caches for only a selected subset of tokens. When a new task arises, LAG retrieves the KV values from relevant logs to augment generation. Our approach differs from reflection-based memory mechanisms by directly reusing prior reasoning and computations without requiring additional steps for knowledge extraction or distillation. Our method also goes beyond existing KV caching techniques, which primarily target efficiency gains rather than improving accuracy. Experiments on knowledge- and reasoning-intensive datasets demonstrate that our method significantly outperforms standard agentic systems that do not utilize logs, as well as existing solutions based on reflection and KV cache techniques.