RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios

📄 arXiv: 2610.19698v1 📥 PDF

作者: Chenhao Yuan, Bohan Yu, Yinhao Xu, Chao Yin, Chenxi Zhou, Zhaoxuan Wang, Shuwen Xu, Shaoping Huang, Haolin Ren, Jiaxiang Liu, Yao Xu, Jun Zhao, Kang Liu

分类: cs.AI

发布日期: 2026-10-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出RuleTrek以解决复杂场景中的规则推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 规则推理 复杂场景 大型语言模型 多领域基准 自动化决策

📋 核心要点

  1. 现有的规则推理基准在处理复杂场景时，通常只依赖少量事实陈述，导致规则识别和应用的困难。
  2. 本文提出RuleTrek，通过提取结构化规则图和生成规则特定子场景，系统性地评估复杂场景中的规则推理能力。
  3. 实验结果表明，11个前沿LLM在规则识别和推导上的最高得分仅为62.47%和60.43%，显示出显著的推理挑战。

📝 摘要（中文）

大型语言模型（LLMs）在处理复杂的专业领域任务时，识别和正确应用领域特定规则仍然面临挑战，尤其是在场景信息分散在多个文件中的情况下。现有的规则推理基准通常仅使用少量事实陈述来表示场景，简化了相关规则的识别和应用。为了解决这一问题，本文提出了RuleTrek，一个用于复杂场景中代理规则推理的多领域基准。其规则基础构建流程提取结构化规则图，生成并逐步组合规则特定的子场景，同时确保一致性和可解性。通过评估交互工作空间中的规则识别、规则推导和端到端规则推理三种能力，实验结果显示当前LLM代理在复杂场景中的规则推理面临重大挑战。

🔬 方法详解

问题定义：本文旨在解决复杂场景中规则推理的困难，现有方法在处理分散信息时表现不佳，导致规则的识别和应用效率低下。

核心思路：RuleTrek通过构建规则图和生成子场景，确保规则推理的一致性和可解性，从而提升复杂场景下的规则推理能力。

技术框架：整体架构包括规则图提取、规则特定子场景生成和逐步组合三个主要模块，确保在交互工作空间中进行有效的规则推理。

关键创新：RuleTrek的创新在于其规则基础构建流程，能够系统性地评估复杂场景中的规则推理能力，与传统方法相比，提供了更为全面的评估标准。

关键设计：在设计中，采用了结构化规则图和一致性检查机制，确保生成的子场景在逻辑上是可解的，同时设置了针对规则识别和推导的特定评估指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，11个前沿LLM在规则识别和推导上的最高得分分别为62.47%和60.43%，而端到端规则推理得分在26.97%到55.29%之间，表明当前LLM在复杂场景中的规则推理能力仍面临显著挑战。

🎯 应用场景

RuleTrek的研究成果可广泛应用于法律、金融、医疗等领域的复杂决策支持系统，帮助自动化处理和推理领域特定规则。未来，该基准可能推动更智能的LLM在复杂场景中的应用，提升其在实际任务中的表现。

📄 摘要（原文）

Large language models (LLMs) increasingly tackle complex real-world tasks in specialized domains. However, identifying and correctly applying domain-specific rules remains challenging when scenario information is distributed across multiple files. Existing rule-reasoning benchmarks typically represent scenarios using only a few factual statements, simplifying the identification and application of relevant rules. To address this gap, this paper introduces \textbf{RuleTrek}, a multi-domain benchmark for agentic rule reasoning in complex scenarios. Its rule-grounded construction pipeline extracts structured rule graphs, generates and incrementally composes rule-specific sub-scenarios while ensuring consistency and solvability. To systematically evaluate agentic rule reasoning in complex scenarios, RuleTrek assesses three capabilities in interactive workspaces: Rule Identification (RI), Rule Deduction (RD), and End-to-End Rule Reasoning (E2E). Experiments on 11 frontier LLMs show that the highest RI and RD scores are only 62.47\% and 60.43\%, respectively, while E2E scores range from 26.97\% to 55.29\%. These results demonstrate that current LLM agents face substantial challenges in rule reasoning over complex scenarios. We make our code and dataset publicly available at \href{https://github.com/yuan247/RuleTrek}{RuleTrek}.