S-EDL: Eliciting Self-Evidence from Sequence Likelihoods for Semantic Calibration of LLMs

📄 arXiv: 2610.29832v1 📥 PDF

作者: Yawei Li, Jiazheng Li, David Rügamer, Bernd Bischl, Yulan He, Mina Rezaei

分类: cs.CL, cs.AI

发布日期: 2026-10-21

备注: 34 pages, 8 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出S-EDL以解决大语言模型语义校准问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 语义校准 开放式生成 Dirichlet先验 证据方法 模型优化 自然语言处理

📋 核心要点

  1. 现有的校准技术无法有效处理开放式生成中的动态多字符串语义结果，导致校准效果不佳。
  2. S-EDL通过从模型的序列似然中引出证据，构建可微分的Dirichlet先验，实现了对语义类别的优化。
  3. 在四个开放式基准和三个模型上的评估显示，S-EDL显著降低了语义校准误差，并提升了模型的准确性。

📝 摘要（中文）

在开放式生成中，校准大型语言模型（LLMs）面临独特挑战，因为多个不同的标记序列可以表达相同的潜在含义。现有的校准技术主要针对固定集合的分类置信度或单个字符串的二元正确性，无法适应开放式语义结果的动态多字符串特性。为了解决这一问题，本文提出了S-EDL，这是一种新颖的证据方法，能够原生优化LLMs的语义校准。通过从模型自身的序列似然中引出证据，S-EDL构建了一个可微分的Dirichlet先验，针对特定提示的语义类别进行优化。实验结果表明，S-EDL显著降低了语义校准误差，同时提高了准确性，为在复杂开放式应用中部署可信的LLMs奠定了基础。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在开放式生成中的语义校准问题。现有方法主要集中于固定集合的分类置信度或单个字符串的正确性，无法适应多样化的语义输出，导致校准效果不理想。

核心思路：S-EDL的核心思路是通过引出模型自身的序列似然作为证据，构建一个针对特定提示的可微分Dirichlet先验，从而优化模型的语义校准。这样的设计使得模型能够在没有固定多选项的情况下，灵活应对多样化的语义类别。

技术框架：S-EDL的整体架构包括两个主要模块：首先，从模型的输出中提取序列似然；其次，基于提取的序列似然构建Dirichlet先验，并优化证据损失以生成校准信号。

关键创新：S-EDL的主要创新在于其通过模型自身的序列似然构建可微分的Dirichlet先验，完全绕过了传统方法对固定选项的依赖。这一方法在处理开放式生成时展现出更高的灵活性和适应性。

关键设计：在设计中，S-EDL采用了特定的损失函数来优化证据损失，并通过调整Dirichlet先验的参数来适应不同的语义类别。这些设计细节确保了模型在多样化语义输出中的有效校准。

📊 实验亮点

实验结果表明，S-EDL在四个开放式基准测试中显著降低了语义校准误差，并在准确性上有明显提升。具体而言，S-EDL在不同模型上的表现均优于传统校准方法，展示了其在开放式生成任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的开放式对话系统、文本生成和内容创作等。通过提高大型语言模型的语义校准能力，S-EDL能够增强模型在复杂场景下的可靠性和可信度，推动智能助手和自动化内容生成的实际应用。未来，该方法可能会影响更多领域的模型设计和应用。

📄 摘要（原文）

Calibrating large language models (LLMs) in open-ended generation is uniquely challenging because many distinct token sequences can express the same underlying meaning. Prior calibration techniques target either fixed-set classification confidence or the binary correctness of individual strings, making them inherently ill-suited for the dynamic, multi-string nature of open-ended semantic outcomes. To bridge this gap, we introduce S-EDL, a novel evidential method that natively optimizes LLMs for semantic calibration. By eliciting evidence from the sequence likelihoods of the model itself, S-EDL constructs a differentiable Dirichlet prior over prompt-specific semantic classes. Optimizing the evidential loss under this prior yields a calibration-aware training signal over variable semantic classes, completely bypassing the need for fixed multiple-choice options. Evaluations across four open-ended benchmarks and three models demonstrate that S-EDL substantially reduces semantic calibration error while improving accuracy. By aligning generative likelihoods with semantic correctness, this work establishes a framework for deploying trustworthy LLMs in complex, open-ended applications. Code is available at: https://github.com/sandylaker/s-edl.