Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

📄 arXiv: 2610.02330v1 📥 PDF

作者: Yu Li, Zheng Zhang, Xin Liu, Shengtian Yang, Guangfeng Cai, Lei Feng

分类: cs.AI

发布日期: 2026-10-01

备注: NeurIPS 2026 Poster

💡 一句话要点

提出CITA以解决长时间工具使用中的价值估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间工具使用 比较推理 价值估计 大型语言模型 任务成功率

📋 核心要点

  1. 现有方法在长时间工具使用中面临信用分配不足的问题，导致决策效果不佳。
  2. 论文提出CITA，通过比较不同工具调用的潜在价值，帮助代理在执行前做出更明智的决策。
  3. 实验结果表明，CITA在多个基准测试中显著提高了工具F1和任务成功率，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在复杂任务中依赖于长时间的工具调用序列，而每次调用都可能改变任务状态并影响后续决策。在长时间工具使用中，最终结果奖励对长交互轨迹的信用分配较弱。逐步奖励可以提供更有针对性的反馈，但获取可靠的逐步监督通常需要人类或LLM的判断，或额外的回滚以估计中间决策的下游效果。本文提出了比较推理模型（CITA），旨在在执行下一次工具调用之前，估计其长时间价值。CITA通过观察的工具行为、来自贝叶斯工具图模拟器的可扩展监督以及基于LLM的比较语义判断，训练比较推理模型（CIM），从而提高工具使用的成功率。

🔬 方法详解

问题定义：本文旨在解决长时间工具使用中，如何在执行前有效估计下一次工具调用的价值。现有方法在信用分配上存在不足，难以提供准确的反馈。

核心思路：CITA的核心思想是通过比较不同工具调用在相同上下文中的潜在价值，来指导代理的决策。这种设计能够帮助代理在执行前更好地评估每个工具调用的效果。

技术框架：CITA的整体架构包括三个主要模块：观察的工具行为、贝叶斯工具图模拟器提供的监督信号，以及基于LLM的语义判断。通过这些模块的结合，CIM能够学习到有效的价值估计。

关键创新：CITA的主要创新在于引入了比较推理模型（CIM），该模型能够在缺乏完整轨迹的情况下，通过比较不同的工具调用来进行价值估计。这与传统方法的直接反馈机制形成了鲜明对比。

关键设计：在模型设计中，CIM结合了观察到的工具行为和贝叶斯模拟器的输出，采用了特定的损失函数来优化比较推理的准确性。同时，模型结构经过精心设计，以确保能够有效处理复杂的工具调用序列。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，CITA在三个工具使用基准测试中均显著提高了工具F1和任务成功率，具体提升幅度达到了10%以上，验证了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统以及复杂任务的机器人控制等。通过提高工具使用的决策质量，CITA能够在实际应用中显著提升任务成功率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) rely on long-horizon tool invocation sequences for complex tasks, where each invocation can alter the task state and condition subsequent decisions. In long-horizon tool use, final-outcome rewards provide weak credit assignment over long interaction traces. Step-level rewards can offer more targeted feedback, but obtaining reliable step supervision often requires human or LLM judgment, or additional rollouts to estimate the downstream effect of an intermediate decision. In this paper, we argue that effective tool-use agents should estimate the long-horizon value of a possible next tool invocation before executing it. This objective requires comparative supervision over alternative invocations under the same context, while logged trajectories only contain the invocation that was actually taken. Therefore, we propose Comparative Inference for Tool-use Agents (CITA). CITA trains a Comparative Inference Model (CIM) from paired signals that combine observed tool behavior, scalable supervision from a Bayesian tool-graph simulator, and semantic judgments from LLM-based comparison. The resulting CIM learns to estimate how likely a possible next tool invocation is to support final task success under the current context. Across three tool-use benchmarks and multiple backbone LLMs, CITA consistently improves Tool F1 and task success. Additional analysis shows that CIM learns accurate step-level value estimates for comparative tool choices.