IDEA: An Interpretable and Editable Decision-Making Framework for LLMs via Verbal-to-Numeric Calibration

📄 arXiv: 2604.12573v1 📥 PDF

作者: Yanji He, Yuxin Jiang, Yiwen Wu, Bo Huang, Jiaheng Wei, Wei Wang

分类: cs.AI

发布日期: 2026-04-14

备注: Accepted to ACL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

IDEA框架：通过Verbal-to-Numeric校准，实现LLM决策过程的可解释与可编辑性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 决策制定 可解释性 概率校准 人机协作

📋 核心要点

  1. 现有LLM在决策任务中存在概率校准差、解释性不足和难以融合专家知识等问题。
  2. IDEA框架通过将LLM知识提取到可解释的参数模型中，实现概率校准和人机协作。
  3. 实验表明，IDEA在多个数据集上超越了现有模型，实现了完美的因素排除和精确校准。

📝 摘要（中文）

大型语言模型（LLM）越来越多地应用于决策制定，但由于概率校准不准确、解释不可信以及无法精确整合专家知识，它们在高风险领域的应用仍然受到限制。我们提出了IDEA，一个框架，它将LLM决策知识提取到一个可解释的参数模型中，该模型基于语义上有意义的因素。通过EM算法联合学习verbal-to-numerical映射和决策参数，利用保持因素依赖性的相关抽样，以及通过数学保证直接进行参数编辑，IDEA产生校准后的概率，同时实现定量的人机协作。在五个数据集上的实验表明，使用Qwen-3-32B的IDEA（78.6%）优于DeepSeek R1（68.1%）和GPT-5.2（77.9%），实现了完美的因素排除和精确的校准——这是仅通过提示无法达到的精度。该实现可在https://github.com/leonbig/IDEA公开获取。

🔬 方法详解

问题定义：现有的大型语言模型在决策制定方面面临着概率校准不准确、解释不忠实以及难以精确整合专家知识的挑战。这些问题限制了LLM在需要高度可信度和透明度的关键领域的应用。现有的方法，如提示工程，虽然可以一定程度上改善性能，但难以保证概率的准确校准和决策过程的可解释性。

核心思路：IDEA框架的核心思路是将LLM的决策知识提取到一个可解释的参数模型中，该模型基于语义上有意义的因素。通过将LLM的输出（通常是文本形式）映射到数值概率，并利用这些数值概率来训练一个参数化的决策模型，IDEA旨在实现概率的准确校准和决策过程的可解释性。此外，该框架还支持直接的参数编辑，允许用户根据专家知识或特定需求来调整决策模型。

技术框架：IDEA框架包含以下几个主要模块：1) Verbal-to-Numeric映射：将LLM的文本输出映射到数值概率。2) 决策参数学习：利用EM算法联合学习verbal-to-numerical映射和决策参数。3) 相关抽样：采用保持因素依赖性的相关抽样方法，以提高学习效率。4) 参数编辑：支持直接的参数编辑，允许用户根据专家知识或特定需求来调整决策模型。

关键创新：IDEA框架的关键创新在于其将LLM的决策知识提取到一个可解释的参数模型中，并通过联合学习、相关抽样和参数编辑等技术手段，实现了概率的准确校准和决策过程的可解释性。与现有方法相比，IDEA能够更好地融合专家知识，并提供更强的可控性和可解释性。

关键设计：IDEA框架的关键设计包括：1) 使用EM算法进行联合学习，以优化verbal-to-numerical映射和决策参数。2) 采用相关抽样方法，以提高学习效率并保持因素依赖性。3) 提供直接的参数编辑接口，允许用户根据专家知识或特定需求来调整决策模型。具体的参数设置和损失函数等技术细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Qwen-3-32B的IDEA框架在五个数据集上取得了显著的性能提升，达到了78.6%的准确率，优于DeepSeek R1（68.1%）和GPT-5.2（77.9%）。更重要的是，IDEA实现了完美的因素排除和精确的校准，这表明该框架能够准确地识别和排除不相关的因素，并提供可靠的概率预测。这些结果表明，IDEA在提高LLM决策的准确性和可解释性方面具有显著的优势。

🎯 应用场景

IDEA框架具有广泛的应用前景，尤其是在需要高度可信度和透明度的决策领域，如医疗诊断、金融风险评估、法律判决等。通过提供可解释的决策过程和可控的参数调整，IDEA可以帮助用户更好地理解和信任LLM的决策结果，并根据实际需求进行调整。此外，IDEA还可以促进人机协作，将人类的专业知识与LLM的计算能力相结合，从而提高决策的准确性和效率。

📄 摘要（原文）

Large Language Models are increasingly deployed for decision-making, yet their adoption in high-stakes domains remains limited by miscalibrated probabilities, unfaithful explanations, and inability to incorporate expert knowledge precisely. We propose IDEA, a framework that extracts LLM decision knowledge into an interpretable parametric model over semantically meaningful factors. Through joint learning of verbal-to-numerical mappings and decision parameters via EM, correlated sampling that preserves factor dependencies, and direct parameter editing with mathematical guarantees, IDEA produces calibrated probabilities while enabling quantitative human-AI collaboration. Experiments across five datasets show IDEA with Qwen-3-32B (78.6%) outperforms DeepSeek R1 (68.1%) and GPT-5.2 (77.9%), achieving perfect factor exclusion and exact calibration -- precision unattainable through prompting alone. The implementation is publicly available at https://github.com/leonbig/IDEA.