Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

📄 arXiv: 2602.19101v1 📥 PDF

作者: Seong Hah Cho, Junyi Li, Anna Leshinskaya

分类: cs.CL, cs.AI

发布日期: 2026-02-22

💡 一句话要点

揭示大语言模型中的价值纠缠现象：不同类型价值表征的混淆

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 价值对齐 价值纠缠 道德推理 表征学习

📋 核心要点

  1. 大型语言模型在价值对齐方面面临挑战，需要准确衡量模型内部对不同类型价值的表征。
  2. 该研究通过探测模型行为，发现LLM存在道德、语法和经济价值的混淆，即“价值纠缠”。
  3. 通过消融与道德相关的激活向量，可以有效修复这种价值纠缠现象，提升模型价值判断的准确性。

📝 摘要（中文）

大型语言模型（LLMs）的价值对齐需要我们实证地测量这些模型实际习得的价值表征。人类价值表征的特征之一是区分不同类型的价值。我们研究了LLMs是否也区分三种不同的“好”：道德的、语法的和经济的。通过探测模型行为、嵌入和残差流激活，我们报告了普遍存在的价值纠缠案例：这些不同价值表征之间的混淆。具体而言，相对于人类规范，语法和经济价值评估被道德价值过度影响。通过选择性地消融与道德相关的激活向量，这种混淆得到了修复。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在价值对齐方面存在的价值表征混淆问题。现有方法未能充分区分不同类型的价值（如道德、语法和经济），导致模型在特定情境下做出不符合预期的判断。这种价值纠缠会降低LLMs的可靠性和安全性。

核心思路：论文的核心思路是通过探测LLMs内部的表征，揭示不同类型价值之间的相互影响。具体而言，研究人员假设LLMs内部存在对应于不同类型价值的表征向量，并通过分析这些向量之间的关系来判断是否存在价值纠缠。如果发现某种价值对其他价值产生过度影响，则认为存在价值纠缠。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 定义三种不同类型的“好”：道德的、语法的和经济的。2) 设计实验来探测LLMs对这三种价值的判断能力。3) 分析模型的行为、嵌入和残差流激活，以识别不同价值表征之间的关系。4) 通过选择性消融与道德相关的激活向量，尝试修复价值纠缠。

关键创新：该研究的关键创新在于发现了LLMs中普遍存在的“价值纠缠”现象，并提出了一种通过选择性消融激活向量来修复这种纠缠的方法。与现有方法相比，该研究更深入地探讨了LLMs内部价值表征的机制，并提供了一种可行的价值对齐策略。

关键设计：研究中，道德价值的激活向量的选择性消融是关键设计。具体实现方式未知，但推测是通过某种方式识别出与道德判断相关的神经元或激活向量，然后将其激活值置零或降低，从而减少道德价值对其他类型价值的影响。具体的实验设计和参数设置未知。

📊 实验亮点

实验结果表明，LLMs中存在显著的价值纠缠现象，即语法和经济价值判断受到道德价值的过度影响。通过选择性消融与道德相关的激活向量，可以有效降低这种影响，从而改善模型在语法和经济方面的判断能力。具体的性能提升数据未知。

🎯 应用场景

该研究成果可应用于提升大型语言模型的安全性与可靠性，尤其是在涉及伦理道德、经济决策等敏感领域。通过减少价值纠缠，可以使LLM在不同情境下做出更符合人类价值观的判断，避免产生偏见或歧视。此外，该研究也为理解LLM内部表征机制提供了新的视角。

📄 摘要（原文）

Value alignment of Large Language Models (LLMs) requires us to empirically measure these models' actual, acquired representation of value. Among the characteristics of value representation in humans is that they distinguish among value of different kinds. We investigate whether LLMs likewise distinguish three different kinds of good: moral, grammatical, and economic. By probing model behavior, embeddings, and residual stream activations, we report pervasive cases of value entanglement: a conflation between these distinct representations of value. Specifically, both grammatical and economic valuation was found to be overly influenced by moral value, relative to human norms. This conflation was repaired by selective ablation of the activation vectors associated with morality.