CORDIAL: Calibrating Ordinal LLM Outputs from Few Labels

📄 arXiv: 2609.29807v1 📥 PDF

作者: Xiangwei Wang, Peng Wang, Saman Halgamuge

分类: cs.CL, cs.LG

发布日期: 2026-09-24

💡 一句话要点

提出CORDIAL以校准少量标签下的有序LLM输出

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 有序标签 噪声校正 模型输出 情感分析 用户评论处理 校准方法

📋 核心要点

  1. 现有的LLM输出存在噪声，导致其在有序标签上的表现不稳定，影响了模型的可靠性。
  2. CORDIAL通过将模型输出视为真实标签的噪声读数，利用五个可解释参数进行校正，从而提高了输出的准确性。
  3. 在多个数据集上，CORDIAL在76个设置中表现出最低的对数损失，显示出其在少量标签下的优越性能。

📝 摘要（中文）

大型语言模型（LLM）能够将文本转化为有序尺度上的分布，但该分布往往存在噪声，表现为饱和、压缩或夸大，并且存在一致的偏差。本文提出CORDIAL，将模型输出视为真实标签的噪声读数，并通过五个可解释参数的通道进行校正。该通道足够小，可以从少量标签中平均后验，且我们证明了结果校准保持了一阶随机顺序。在亚马逊评论和CMU-MOSEI转录数据集上，CORDIAL在76个设置中以最低的对数损失超越了九种校准器，且在20个标签和主要的7B模型下，其性能与使用28-54个标签的最强基线相匹配。相同的后验使我们能够从其他任务中学习先验并融合多个LLM。只有在校准集增长到数百或数千时，无限制的校准器如Dirichlet校准才会超越CORDIAL。

🔬 方法详解

问题定义：本文旨在解决大型语言模型输出的噪声问题，现有方法在处理有序标签时常常导致输出不准确，影响模型的有效性和可靠性。

核心思路：CORDIAL将模型输出视为真实标签的噪声读数，通过五个可解释参数的通道进行校正，确保输出的准确性和一致性。

技术框架：CORDIAL的整体架构包括输入文本处理、模型输出生成、噪声校正通道和后验计算四个主要模块。首先，输入文本被处理并传递给LLM，生成初步输出；然后，通过校正通道对输出进行调整，最后计算后验以获得最终的标签分布。

关键创新：CORDIAL的主要创新在于其通过少量标签平均后验的能力，保持了一阶随机顺序的校准效果，与现有方法相比，显著提高了输出的准确性和稳定性。

关键设计：在设计上，CORDIAL使用了五个可解释参数来进行校正，这些参数的选择和优化是其性能提升的关键。此外，损失函数的设计也确保了模型在少量标签下的有效学习。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

CORDIAL在76个设置中以最低的对数损失超越了九种校准器，显示出其在少量标签下的优越性能。在使用20个标签和主要的7B模型时，CORDIAL的表现与使用28-54个标签的最强基线相匹配，证明了其有效性和实用性。

🎯 应用场景

CORDIAL的研究成果在多个领域具有潜在应用价值，尤其是在情感分析、用户评论处理和其他需要有序标签的任务中。通过提高模型输出的准确性，CORDIAL能够帮助企业更好地理解用户反馈，从而优化产品和服务。此外，该方法的灵活性使其能够与其他任务的先验知识结合，进一步提升模型的性能。

📄 摘要（原文）

A large language model (LLM) can turn a text into a distribution over an ordered scale, but that distribution is a noisy measurement: saturated, compressed or exaggerated, and biased in a consistent direction. We propose CORDIAL, which treats the model's output as a noisy reading of the true label and corrects it with a channel of five interpretable parameters. The channel is small enough for its posterior to be averaged from a handful of labels, and we prove that the resulting calibration preserves first-order stochastic order. On Amazon reviews and CMU-MOSEI transcripts with four LLMs, CORDIAL has the lowest log loss among nine calibrators in 76 of 80 settings with 5 to 100 labels; with 20 labels and the main 7B reader, it matches the strongest baseline using 28-54 labels. The same posterior lets us learn priors from other tasks and fuse several LLMs. Unrestricted calibrators such as Dirichlet calibration overtake it only as the calibration set grows into the hundreds or thousands.