ANCHOR: Abductive Network Construction with Hierarchical Orchestration for Reliable Probability Inference in Large Language Models

📄 arXiv: 2605.10328v1 📥 PDF

作者: Wentao Qiu, Guanran Luo, Zhongquan Jian, Jingqi Gao, Meihong Wang, Qingqiang Wu

分类: cs.CL

发布日期: 2026-05-11

备注: Accepted by ICML 2026

💡 一句话要点

提出ANCHOR框架：通过分层编排的溯因网络构建，实现大语言模型中可靠的概率推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 概率推理 溯因推理 贝叶斯网络 因果推断 知识图谱构建

📋 核心要点

  1. 现有LLM概率推理方法受限于稀疏因素空间导致的“未知”结果，以及盲目扩展因素带来的噪声与虚假相关性问题。
  2. 提出ANCHOR框架，通过迭代生成与层次聚类构建密集因素空间，并引入因果贝叶斯网络以捕捉因素间的潜在依赖关系。
  3. 实验证明，该方法显著降低了“未知”预测比例，提升了概率估计的可靠性，并有效降低了计算资源与Token消耗。

📝 摘要（中文）

在不完全信息下进行大规模决策时，估计可靠的概率是一项核心挑战。现有方法利用大语言模型（LLM）生成解释性因素并导出粗粒度概率估计，通常采用前向溯因法提出因素，并结合朴素贝叶斯模型进行概率细化。然而，稀疏的因素空间常导致“未知”结果，而盲目扩展因素又会引入噪声和虚假相关性，削弱条件独立性假设并降低可靠性。为此，本文提出了ANCHOR推理框架，通过分层结构化的因素空间进行聚合贝叶斯推理。ANCHOR首先通过迭代生成和层次聚类构建密集且有序的因素空间，随后通过层次化检索与细化进行上下文感知映射，显著减少了“未知”预测。最后，该框架利用因果贝叶斯网络增强朴素贝叶斯，以捕捉因素间的潜在依赖关系，放宽了严格的独立性假设。实验表明，ANCHOR在减少“未知”预测和提升概率估计可靠性方面表现优异，在达到SOTA性能的同时显著降低了时间和Token开销。

🔬 方法详解

问题定义：论文旨在解决大语言模型在不完全信息决策场景下，概率估计不可靠及“未知”结果频发的问题。现有基于朴素贝叶斯的溯因推理方法因因素空间稀疏导致覆盖不足，而简单扩充因素又会破坏条件独立性假设，引入噪声。

核心思路：通过构建分层结构化的因素空间来替代扁平化的因素集合，并利用因果贝叶斯网络（CBN）替代朴素贝叶斯，从而在保持计算高效性的同时，增强对复杂依赖关系的建模能力。

技术框架：框架包含三个阶段：首先是因素空间的构建，通过迭代生成与层次聚类形成密集且有序的层级结构；其次是上下文感知映射，利用层次化检索技术将输入映射到最优因素节点；最后是概率推理，通过因果贝叶斯网络整合因素权重，输出最终概率。

关键创新：引入了“分层编排（Hierarchical Orchestration）”机制，将因素空间组织为树状结构，有效缓解了稀疏性；同时，通过因果贝叶斯网络放宽了朴素贝叶斯中严苛的独立性假设，提升了模型对现实复杂相关性的鲁棒性。

关键设计：采用迭代式因素生成策略以确保覆盖率；利用层次聚类算法对生成的因素进行语义归并；在推理阶段，通过因果图建模因素间的条件依赖，从而在推理时动态调整概率计算路径，减少对单一因素的过度依赖。

📊 实验亮点

实验结果显示，ANCHOR在多个基准测试中显著优于直接使用LLM的基线方法。该框架不仅大幅降低了“未知”预测的发生率，还在概率校准误差（Calibration Error）上取得了显著改进。此外，通过优化因素空间结构，ANCHOR在保持SOTA性能的同时，大幅减少了推理过程中的Token消耗与响应延迟，证明了其在资源受限环境下的高效性。

🎯 应用场景

该研究适用于金融风险评估、医疗诊断辅助、法律判决预测及复杂供应链管理等需要高可靠性概率决策的领域。通过将LLM的生成能力与贝叶斯推理的严谨性相结合，该框架能有效辅助人类在信息不全的复杂场景下做出更具逻辑支撑的决策，具有极高的工业应用价值。

📄 摘要（原文）

A central challenge in large-scale decision-making under incomplete information is estimating reliable probabilities. Recent approaches leverage Large Language Models (LLMs) to generate explanatory factors and elicit coarse-grained probability estimates. Typically, an LLM performs forward abduction to propose factors, each paired with two mutually exclusive attributes, and a Naïve Bayes model is trained over factor combinations to refine the final probabilities. However, sparse factor spaces often yield unknown'' outcomes, while expanding factors increases noise and spurious correlations, weakening conditional independence and degrading reliability. To address these limitations, we propose \textsc{Anchor}, an inference framework that orchestrates aggregated Bayesian inference over a hierarchically structured factor space. \textsc{Anchor} first constructs a dense and organized factor space via iterative generation and hierarchical clustering. It then performs context-aware mapping through hierarchical retrieval and refinement, substantially reducingunknown'' predictions. Finally, \textsc{Anchor} augments Naïve Bayes with a Causal Bayesian Network to capture latent dependencies among factors, relaxing the strict independence assumption. Experiments show that \textsc{Anchor} markedly reduces ``unknown'' predictions and produces more reliable probability estimates than direct LLM baselines, achieving state-of-the-art performance while significantly reducing time and token overhead.