VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation

📄 arXiv: 2610.21304v1 📥 PDF

作者: Junru Wu, Jingting Zheng, Yuqi Ren, Deyi Xiong

分类: cs.CL

发布日期: 2026-10-15

备注: 24 pages, 16 figures. Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026. Code and data: https://github.com/tjunlp-lab/VALCON

🔗 代码/项目: GITHUB

💡 一句话要点

提出VALCON框架以解决大语言模型价值一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 价值一致性 角色驱动 数据构建 评估框架 智能助手 人机交互

📋 核心要点

  1. 现有的大语言模型价值对齐评估方法过于依赖输出合规性，未能考虑模型在不同角色下的价值一致性。
  2. 本文提出VALCON框架，通过双角色变换构建数据，系统性地评估和提升模型的价值一致性。
  3. 在28个大语言模型的实验中，发现普遍存在跨角色不一致现象，并提出有效的干预方法来解决这一问题。

📝 摘要（中文）

当前对大语言模型（LLMs）的价值对齐评估主要依赖输出合规性，忽视了模型在生成者和评估者角色之间切换时是否保持价值一致性。为了解决这一问题，本文提出了VALCON，一个基于角色驱动的数据构建框架，通过双角色变换将价值一致性操作化为三个基准套件（VAB-Consistency、VAB-Boundary、VAB-Challenge）。实验表明，28个LLMs中普遍存在跨角色不一致现象，且合规输出的模型常常未能与自身生成的内容保持一致。通过机制探测，揭示了与行为不对称相关的角色依赖表示解耦。基于这些洞察，提出了一种表示导向的干预方法，有效缓解一致性失败。

🔬 方法详解

问题定义：本文旨在解决大语言模型在生成和评估角色之间的价值一致性问题。现有方法主要关注输出合规性，未能有效评估模型在不同角色下的表现一致性。

核心思路：VALCON框架通过双角色变换，将生成行为与评估判断进行系统配对，从而揭示潜在的价值差异。这种设计使得模型在生成和评估时遵循相同的原则，确保一致性。

技术框架：VALCON框架包括三个主要模块：VAB-Consistency用于评估一致性，VAB-Boundary用于界定边界情况，VAB-Challenge用于挑战模型的表现。通过这些模块，框架能够全面评估模型的价值一致性。

关键创新：VALCON将价值一致性作为一个独立的对齐维度，提供了完整的评估-分析-干预管道。这一创新与现有方法的本质区别在于其系统性和全面性。

关键设计：在实验中，采用了角色驱动的数据构建方法，设计了特定的损失函数以优化模型在生成和评估中的一致性表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对28个大语言模型的实验中，发现合规输出的模型在自我评估时常常出现不一致，且通过VALCON框架的干预方法，模型的一致性表现显著提升，具体提升幅度未知。

🎯 应用场景

VALCON框架的潜在应用领域包括智能助手、自动内容生成和人机交互等场景。通过提升大语言模型的价值一致性，能够增强其在实际应用中的可靠性和用户信任度，推动更安全和高效的AI系统发展。

📄 摘要（原文）

Current value alignment evaluations for large language models (LLMs) heavily rely on output compliance, overlooking whether LLMs maintain value consistency when alternating between generator and evaluator roles. Such consistency is increasingly important because modern LLM agents and alignment pipelines often rely on the same LLM to both generate actions and evaluate their acceptability. To mitigate this limitation, we propose VALCON, a role-driven data construction framework that operationalizes value consistency into three benchmark suites (VAB-Consistency, VAB-Boundary, VAB-Challenge) via dual-role variation. By systematically pairing an LLM's generative behavior with its evaluative judgments under identical principles, VALCON synthesizes target evaluation data that exposes hidden value discrepancies. Experiments on 28 LLMs reveal pervasive cross-role inconsistency: models with highly compliant outputs frequently fail to align their judgments with their own generations. To understand and address this gap, we perform mechanistic probing that uncovers a role-dependent representational decoupling associated with this behavioral asymmetry. Guided by these insights, we propose a representation-directed intervention that effectively mitigates consistency failures. Our work establishes value consistency as a distinct alignment dimension and provides a complete evaluation-analysis-mitigation pipeline. Code and data are available at https://github.com/tjunlp-lab/VALCON.