RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning

📄 arXiv: 2601.00086v2 📥 PDF

作者: Xiang Gao, Yuguang Yao, Qi Zhang, Kaiwen Dong, Avinash Baidya, Ruocheng Guo, Hilaf Hasson, Kamalika Das

分类: cs.CL

发布日期: 2025-12-31 (更新: 2026-01-05)

💡 一句话要点

RIMRULE：通过MDL引导的规则学习提升工具使用语言Agent能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具使用 规则学习 神经符号方法 最小描述长度

📋 核心要点

  1. 现有大型语言模型在特定领域工具使用中面临挑战，主要原因是API的特殊性、文档不足和定制化工作流程。
  2. RIMRULE通过动态规则注入实现LLM适应，从失败案例中提取规则，并利用最小描述长度原则保证规则的通用性和简洁性。
  3. 实验表明，RIMRULE在已见和未见工具上均能提升准确性，且无需修改LLM权重，并可跨不同LLM架构迁移。

📝 摘要（中文）

大型语言模型(LLMs)在特定领域使用工具时常常遇到困难，因为API可能是特殊的、文档不足的或为私有工作流程定制的。这突显了有效适应特定任务工具的需求。我们提出了RIMRULE，一种基于动态规则注入的神经符号方法，用于LLM的适应。从失败轨迹中提取紧凑、可解释的规则，并在推理期间将其注入到提示中，以提高任务性能。这些规则由LLM自身提出，并使用最小描述长度(MDL)目标进行整合，该目标偏向于通用性和简洁性。每个规则都以自然语言和结构化的符号形式存储，支持在推理时进行高效检索。在工具使用基准上的实验表明，这种方法提高了在已见和未见工具上的准确性，而无需修改LLM权重。它优于基于提示的适应方法，并补充了微调。此外，从一个LLM学习的规则可以被重用来改进其他LLM，包括长推理LLM，突出了符号知识在不同架构之间的可移植性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在特定领域工具使用中表现不佳的问题。现有方法，如直接提示或微调，在面对领域特定、文档不足或定制化的API时，往往难以有效利用工具。这些方法要么需要大量的训练数据，要么无法很好地泛化到新的工具上。

核心思路：RIMRULE的核心思路是从LLM使用工具失败的案例中学习规则，并将这些规则以符号化的形式注入到LLM的提示中，从而指导LLM更好地使用工具。这种方法结合了神经方法（LLM）和符号方法（规则），旨在提高LLM工具使用的可靠性和泛化能力。

技术框架：RIMRULE包含以下主要模块：1) 失败案例收集：记录LLM在使用工具时的失败案例。2) 规则生成：利用LLM自身生成规则，描述导致失败的原因和解决方法。3) 规则选择：使用最小描述长度（MDL）原则，选择最通用和简洁的规则。4) 规则存储：将规则以自然语言和符号形式存储，方便检索。5) 规则注入：在推理时，根据当前任务和上下文，检索相关规则，并将其注入到LLM的提示中。

关键创新：RIMRULE的关键创新在于：1) 动态规则注入：规则不是静态的，而是根据任务和上下文动态选择和注入的。2) MDL引导的规则学习：使用MDL原则选择规则，保证规则的通用性和简洁性。3) 神经符号结合：结合了LLM的神经能力和符号规则的推理能力。4) 规则可移植性：学习到的规则可以跨不同的LLM架构使用。

关键设计：RIMRULE的关键设计包括：1) MDL目标函数：用于选择规则，平衡规则的复杂度和对数据的拟合程度。2) 规则的符号化表示：将规则表示为符号形式，方便检索和推理。3) 提示工程：设计合适的提示，将规则注入到LLM中，引导LLM更好地使用工具。

📊 实验亮点

实验结果表明，RIMRULE在工具使用基准上显著提高了LLM的准确性，尤其是在未见过的工具上。与基于提示的适应方法相比，RIMRULE表现更优。此外，从一个LLM学习到的规则可以被重用来改进其他LLM，包括长推理LLM，验证了符号知识的可移植性。具体性能提升数据在论文中有详细展示，证明了RIMRULE的有效性。

🎯 应用场景

RIMRULE可应用于各种需要LLM使用工具的场景，例如自动化客服、智能助手、软件开发等。该方法能够提高LLM在特定领域工具使用的可靠性和效率，降低人工干预的需求，并促进LLM在实际应用中的落地。此外，该方法学习到的规则可以被用于知识共享和迁移，加速LLM在不同领域的应用。

📄 摘要（原文）

Large language models (LLMs) often struggle to use tools reliably in domain-specific settings, where APIs may be idiosyncratic, under-documented, or tailored to private workflows. This highlights the need for effective adaptation to task-specific tools. We propose RIMRULE, a neuro-symbolic approach for LLM adaptation based on dynamic rule injection. Compact, interpretable rules are distilled from failure traces and injected into the prompt during inference to improve task performance. These rules are proposed by the LLM itself and consolidated using a Minimum Description Length (MDL) objective that favors generality and conciseness. Each rule is stored in both natural language and a structured symbolic form, supporting efficient retrieval at inference time. Experiments on tool-use benchmarks show that this approach improves accuracy on both seen and unseen tools without modifying LLM weights. It outperforms prompting-based adaptation methods and complements finetuning. Moreover, rules learned from one LLM can be reused to improve others, including long reasoning LLMs, highlighting the portability of symbolic knowledge across architectures.