Pseudo-Deliberation in Language Models: When Reasoning Fails to Align Values and Actions

📄 arXiv: 2605.09893v1 📥 PDF

作者: Sushrita Rakshit, Hanwen Zhang, Hua Shen

分类: cs.CL, cs.AI

发布日期: 2026-05-11

备注: 9 pages

💡 一句话要点

提出VALDI评估框架与VIVALDI审计机制，揭示并缓解大模型中的“伪审慎”现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 价值对齐 伪审慎 多智能体审计 行为一致性 人工智能安全

📋 核心要点

  1. 现有模型虽能表达价值观，但其推理过程与最终行动存在显著的“价值-行动鸿沟”，即“伪审慎”现象。
  2. 提出VALDI评估框架，通过多任务场景与量化指标，系统性度量模型在推理与行动层面的价值对齐程度。
  3. 设计VIVALDI多智能体审计系统，在生成过程中进行实时干预，有效缓解了模型价值观与行为的错位问题。

📝 摘要（中文）

大型语言模型（LLM）常因其陈述的价值观与实际行为不一致而面临“价值-行动鸿沟”。本研究指出，即便模型进行显式推理，该鸿沟依然存在，并将其定义为“伪审慎”（Pseudo-Deliberation）：即模型表现出原则性的推理，但行为却未能与之对齐。为系统性研究这一问题，我们提出了VALDI框架，涵盖五个领域的4,941个以人为中心的场景，包含价值阐述、推理和行动三个任务，以及五个量化价值遵循的指标。实验表明，主流闭源与开源模型在表达的价值观与下游对话行为之间存在持续的错位。为此，我们提出了VIVALDI，一种在生成不同阶段进行干预的多智能体价值审计系统。

🔬 方法详解

问题定义：论文旨在解决大模型中存在的“伪审慎”问题，即模型在推理阶段表现出符合伦理的价值观，但在实际对话生成中却违背这些原则，揭示了现有对齐技术在行为一致性上的局限性。

核心思路：通过构建大规模、多维度的评估数据集VALDI，将价值对齐拆解为“阐述-推理-行动”三个环节，并引入多智能体审计机制VIVALDI，通过外部监督干预生成过程，强制模型在行动层面遵循其预设的价值观。

技术框架：VALDI框架包含4,941个场景，覆盖五个领域，通过三个任务链条进行测试；VIVALDI审计系统则作为一种多智能体架构，在模型生成文本的不同阶段（如推理前、生成中）进行价值一致性检查与纠偏。

关键创新：首次定义并量化了“伪审慎”这一深层失效模式，区别于传统的静态价值评估，强调了推理过程与最终输出行为之间的动态一致性，并提出了基于多智能体审计的实时干预方案。

关键设计：VALDI包含五个量化指标以评估价值遵循度；VIVALDI审计器采用多智能体协作模式，通过在生成流中插入审计节点，实时监测并修正偏离价值准则的输出，从而实现动态对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验覆盖了主流闭源与开源模型，结果显示模型在推理与行动间存在显著的统计学错位。VALDI框架通过4,941个场景的实证分析，量化了这种“伪审慎”现象的普遍性。VIVALDI审计系统在干预实验中表现出显著的纠偏能力，有效提升了模型在复杂场景下的价值遵循一致性，为解决模型行为对齐提供了新的范式。

🎯 应用场景

该研究可广泛应用于高风险领域的大模型部署，如医疗咨询、法律建议及心理辅导。通过VIVALDI审计机制，开发者能有效监控模型在复杂交互中的行为一致性，防止模型在推理正确的情况下输出有害或违背伦理的建议，提升AI系统的可信度与安全性。

📄 摘要（原文）

Large language models (LLMs) are often evaluated based on their stated values, yet these do not reliably translate into their actions, a discrepancy termed "value-action gap." In this work, we argue that this gap persists even under explicit reasoning, revealing a deeper failure mode we call "Pseudo-Deliberation": the appearance of principled reasoning without corresponding behavioral alignment. To study this systematically, we introduce VALDI, a framework for measuring alignment between stated values and generated dialogue. VALDI includes 4,941 human-centered scenarios across five domains, three tasks that elicit value articulation, reasoning, and action, and five metrics for quantifying value adherence. Across both proprietary and open-source LLMs, we observe consistent misalignment between expressed values and downstream dialogues. To investigate intervention strategies, we propose VIVALDI, a multi-agent value auditor that intervenes at different stages of generation.