Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance
作者: Sebastian Cochinescu
分类: cs.CL
发布日期: 2026-09-22
备注: 17 pages, 4 figures, 3 tables. Companion framework paper: arXiv:2607.15883. Code, benchmark, cached model outputs, and result files archived at doi:10.5281/zenodo.21462986 (code and results) and doi:10.5281/zenodo.21462988 (benchmark dataset)
💡 一句话要点
提出不确定性表达与信念修正机制以增强对话代理的可信度
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 对话代理 不确定性表达 信念修正 来源意识 可信度增强
📋 核心要点
- 现有对话代理在回答时缺乏不确定性表达，导致用户对其可信度的质疑。
- 本文提出了一种行为层，结合不确定性表达、来源意识和信念修正，以增强对话代理的可信度。
- 实验结果表明，真实模型中承认的有效性达到100%，真实修正的接受率显著高于虚假修正。
📝 摘要（中文）
对话代理通常以统一的自信语气表达答案。本文测试了如何在固定语言模型上实现不确定性表达、基于来源的断言和显式信念修正。该方法结合了每个声明的置信度和类型化来源、基于来源的表达规则以及持久的修正存储。通过构建的多会话基准进行评估，结果显示在真实模型中，承认的有效性在100%情况下成立，真实修正的接受率高于虚假修正。然而，预设的表达保真度和来源边际未能成功。后续分析表明，基于均值答案标记概率的表达门控在正确性上低于随机水平，而基于采样一致性的门控则能有效区分。最终，选定的一致性门控配置满足对话级别的操控标准。
🔬 方法详解
问题定义：本文旨在解决对话代理在回答时缺乏不确定性表达的问题，现有方法未能有效处理用户对信息可信度的需求。
核心思路：提出一种行为层，通过不确定性表达、来源意识断言和显式信念修正，增强对话代理的可信度，设计上旨在提升用户的信任感。
技术框架：整体架构包括三个主要模块：不确定性表达模块、来源意识模块和信念修正存储模块。每个模块负责处理不同的认知状态，确保信息的透明性和可审计性。
关键创新：最重要的创新在于结合了不确定性表达和来源意识的断言机制，与传统的自信表达方式形成鲜明对比，提升了对话代理的可信度。
关键设计：在设计中，采用了基于来源的表达规则和持久的修正存储，确保了信息的可审计性和部分抵抗虚假修正的能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在真实模型中，承认的有效性达到100%，真实修正的接受率为0.44，而虚假修正的接受率仅为0.15。此外，基于采样一致性的门控配置在对话级别的操控标准上表现良好，AUC值达到了0.66。
🎯 应用场景
该研究的潜在应用领域包括智能客服、虚拟助手和教育领域的对话系统。通过增强对话代理的可信度，可以提高用户的满意度和信任度，进而推动人机交互的进一步发展。
📄 摘要（原文）
Conversational agents often express answers in a uniformly confident register. We test whether expressed uncertainty, provenance-aware assertion, and explicit belief revision can be implemented as a behavior layer over a fixed language model; we do not test believability or trust. The layer combines three epistemic states, per-claim confidence and typed provenance, a provenance-gated expression rule, and a persistent revision store with auditable acknowledgments and partial resistance to false corrections. We evaluate it on a constructed, mechanically scored multi-session benchmark using a synthetic model and Qwen2.5-0.5B-Instruct. The synthetic instrument passes all five checks. On the real model, acknowledgment soundness, a by-construction guarantee, holds in 100% of cases, and true corrections are accepted more often than false ones (0.44 vs. 0.15 on held beliefs; 0.875 vs. 0.420 including rule-accepted corrections of unheld facts), but the pre-specified expression-fidelity, contradiction-separation, and provenance margins fail. A disclosed post hoc analysis shows that expression gated on mean answer-token probability ranks correctness below chance end to end (AUC 0.41, conversation-clustered), whereas gating on sampling consistency discriminates (AUC 0.66). A consistency-gated configuration selected from this finding and evaluated under a separately committed protocol meets the conversation-level manipulation and capability-equivalence criteria and replicates on a redrawn conversation set. The manipulation result is selection-dependent, and both criteria remain unresolved when uncertainty is clustered over the 60 facts. The supported conclusions are limited to the by-construction audit guarantee, store-dependent partial correction discrimination, and a benchmark- and model-specific failure of token-probability gating; scaling the fact base is required before human evaluation.