Large Language Models Often Say One Thing and Do Another

📄 arXiv: 2503.07003v1 📥 PDF

作者: Ruoxi Xu, Hongyu Lin, Xianpei Han, Jia Zheng, Weixiang Zhou, Le Sun, Yingfei Sun

分类: cs.CL

发布日期: 2025-03-10

备注: Published on ICLR 2025

💡 一句话要点

提出WDCT基准，揭示大语言模型“言行不一”问题，并探究对齐策略的影响。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 言行一致性 评估基准 WDCT 对齐策略 可靠性 自然语言处理

📋 核心要点

  1. 大型语言模型在实际应用中面临言行不一致的挑战，降低了其可靠性。
  2. 论文提出WDCT基准，通过对比言语和行为，量化评估LLM的一致性。
  3. 实验表明，现有LLM普遍存在言行不一问题，且简单对齐言语或行为效果不佳。

📝 摘要（中文）

随着大型语言模型（LLMs）在各种应用中日益重要，并与不同的用户群体交互，确保其可靠和一致的性能变得越来越重要。本文探讨了评估LLMs可靠性的一个关键问题：其言语和行为之间的一致性。为了定量地探索这种一致性，我们开发了一个名为“言行一致性测试”（WDCT）的新型评估基准。该基准在不同领域（包括观点与行动、非伦理价值与行动、伦理价值与行动以及理论与应用）中，建立了基于言语的问题和基于行为的问题之间的严格对应关系。评估结果揭示了不同LLMs和领域中普遍存在的言行不一致现象。随后，我们进行了言语对齐或行为对齐的实验，以观察它们对另一方面的影响。实验结果表明，仅对言语或行为进行对齐对另一方面的影响很小且不可预测。这支持了我们的假设，即指导LLMs言语或行为选择的底层知识并不包含在一个统一的空间中。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在实际应用中，经常出现“言行不一”的现象，即模型在语言上表达的意图或承诺与实际执行的行动不符。这种不一致性会严重影响LLMs的可靠性和可信度，限制其在需要高度一致性的场景中的应用。现有方法缺乏有效的评估手段来量化这种不一致性，并且对于如何提升LLMs的言行一致性缺乏深入的研究。

核心思路：论文的核心思路是构建一个专门的评估基准，即言行一致性测试（WDCT），通过设计成对的、语义相关的“言语问题”和“行为问题”，来考察LLMs在不同领域和场景下的言行一致性。通过分析LLMs在这些问题上的表现，可以量化其言行不一致的程度，并为后续的改进提供指导。

技术框架：WDCT基准包含以下几个主要组成部分： 1. 领域划分：将问题划分为观点与行动、非伦理价值与行动、伦理价值与行动以及理论与应用等多个领域，以覆盖不同类型的言行一致性。 2. 问题设计：针对每个领域，设计成对的“言语问题”和“行为问题”，要求两者在语义上高度相关，但考察的是LLM的语言表达和实际行动。 3. 评估指标：设计合适的评估指标，用于量化LLMs在言语问题和行为问题上的表现，并计算其言行一致性得分。 4. 对齐实验：进行言语对齐和行为对齐的实验，考察对齐策略对LLMs言行一致性的影响。

关键创新：论文最重要的技术创新点在于提出了WDCT基准，这是一种全新的评估LLMs言行一致性的方法。与以往的研究不同，WDCT基准强调对言语和行为进行直接对比，从而更准确地反映LLMs的实际表现。此外，论文还通过实验揭示了现有LLMs普遍存在的言行不一致问题，并初步探讨了对齐策略对言行一致性的影响。

关键设计：WDCT基准的关键设计包括： 1. 问题对的设计：确保言语问题和行为问题在语义上高度相关，但考察的是LLM的不同能力。 2. 领域的多样性：覆盖多个领域，以评估LLMs在不同场景下的言行一致性。 3. 评估指标的合理性：设计能够准确反映LLMs言行一致性的评估指标。 4. 对齐实验的设计：通过言语对齐和行为对齐的实验，考察对齐策略对言行一致性的影响。具体的对齐方法和损失函数细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的大型语言模型在WDCT基准上表现出普遍的言行不一致现象。具体性能数据未知，但实验证明，简单地对齐言语或行为并不能有效提升LLMs的整体言行一致性。这表明LLMs的言语和行为可能由不同的知识表示驱动，需要更深入的研究才能实现有效的对齐。

🎯 应用场景

该研究成果可应用于提升大型语言模型在智能客服、自动驾驶、医疗诊断等领域的可靠性。通过WDCT基准，开发者可以更有效地评估和改进LLMs的言行一致性，从而提高其在实际应用中的可信度和安全性。未来的研究可以探索更有效的对齐策略，以进一步提升LLMs的言行一致性。

📄 摘要（原文）

As large language models (LLMs) increasingly become central to various applications and interact with diverse user populations, ensuring their reliable and consistent performance is becoming more important. This paper explores a critical issue in assessing the reliability of LLMs: the consistency between their words and deeds. To quantitatively explore this consistency, we developed a novel evaluation benchmark called the Words and Deeds Consistency Test (WDCT). The benchmark establishes a strict correspondence between word-based and deed-based questions across different domains, including opinion vs. action, non-ethical value vs. action, ethical value vs. action, and theory vs. application. The evaluation results reveal a widespread inconsistency between words and deeds across different LLMs and domains. Subsequently, we conducted experiments with either word alignment or deed alignment to observe their impact on the other aspect. The experimental results indicate that alignment only on words or deeds poorly and unpredictably influences the other aspect. This supports our hypothesis that the underlying knowledge guiding LLMs' word or deed choices is not contained within a unified space.