RUBEN: Rule-Based Explanations for Retrieval-Augmented LLM Systems
作者: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta
分类: cs.CL
发布日期: 2026-05-11
备注: Accepted by ICDE 2026 (Demonstration Track)
💡 一句话要点
提出RUBEN交互式工具，通过规则挖掘实现检索增强生成（RAG）系统的可解释性与安全性评估。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 检索增强生成 可解释人工智能 规则挖掘 模型安全性 对抗性攻击 大语言模型
📋 核心要点
- 针对RAG系统输出缺乏透明度的问题，现有方法难以在复杂数据驱动场景下提供简洁且可解释的决策依据。
- RUBEN通过引入高效的规则挖掘与剪枝策略，从模型输出中提取最小化规则集，实现对模型行为的逻辑化解释。
- 实验表明，该方法不仅能有效解释模型决策，还能作为评估安全训练鲁棒性及检测对抗性攻击的有力工具。
📝 摘要（中文）
本文介绍了RUBEN，这是一款交互式工具，旨在为数据驱动应用中检索增强生成（RAG）大语言模型的输出提供最小化规则解释。研究团队利用创新的剪枝策略，高效识别出一组能够涵盖所有其他规则的最小规则集。此外，论文进一步展示了这些规则在LLM安全性方面的创新应用，特别是用于测试安全训练的鲁棒性以及对抗性提示注入的有效性。
🔬 方法详解
问题定义：RAG系统在处理大规模数据时，其输出往往呈现“黑盒”特性，难以追溯检索内容与生成结果之间的逻辑关联，这限制了其在金融、医疗等高风险领域的可信度与安全性评估。
核心思路：RUBEN的核心思想是将复杂的模型行为转化为逻辑规则。通过对检索到的上下文与模型输出进行关联分析，利用规则挖掘技术提取出能够覆盖模型决策逻辑的最小规则集，从而实现对模型行为的“白盒化”解释。
技术框架：系统主要包含三个阶段：首先是数据采集与特征提取，将RAG系统的输入、检索文档及输出转化为结构化数据；其次是规则挖掘引擎，利用算法遍历潜在逻辑关系；最后是剪枝模块，通过优化策略剔除冗余规则，保留最具代表性的最小规则集。
关键创新：引入了创新的剪枝策略，能够在保证规则覆盖率的前提下，显著降低规则集的复杂度。与传统解释方法相比，RUBEN不仅关注局部解释，更强调通过规则集实现对模型整体行为的归纳与安全性验证。
关键设计：采用了基于覆盖率的剪枝算法，通过计算规则的覆盖范围（Subsumption）来动态优化规则集。在安全性评估中，RUBEN通过分析规则对对抗性输入的响应，量化评估了模型安全对齐的有效性。
🖼️ 关键图片
📊 实验亮点
RUBEN通过实验验证了其在规则提取效率上的显著优势，能够将复杂的模型行为压缩为极简的逻辑规则集。在安全性测试中，该工具成功识别了模型在面对特定对抗性提示时的脆弱点，证明了其在评估安全训练有效性方面的实用性，为RAG系统的鲁棒性评估提供了量化指标。
🎯 应用场景
RUBEN适用于金融合规审计、医疗诊断决策支持及法律文档分析等对可解释性要求极高的RAG应用场景。此外，它在LLM安全防御领域具有重要价值，可用于自动化检测对抗性提示注入，并评估模型安全对齐训练的鲁棒性，为构建可信AI系统提供技术支撑。
📄 摘要（原文）
This paper demonstrates RUBEN, an interactive tool for discovering minimal rules to explain the outputs of retrieval-augmented large language models (LLMs) in data-driven applications. We leverage novel pruning strategies to efficiently identify a minimal set of rules that subsume all others. We further demonstrate novel applications of these rules for LLM safety, specifically to test the resiliency of safety training and effectiveness of adversarial prompt injections.