Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models
作者: Utkarsh Agarwal, Monojit Choudhury
分类: cs.CL, cs.AI
发布日期: 2026-09-17
备注: Accepted at the Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea. https://icml.cc/virtual/2026/75692
💡 一句话要点
提出任务向量组合方法以解决语言模型的伦理偏好对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 伦理偏好 语言模型 任务向量 道德决策 跨语言行为 模型微调 偏见消除
📋 核心要点
- 现有大型语言模型在处理伦理决策时存在偏见和指令跟随能力不足的问题。
- 本文提出了一种任务向量组合的方法，通过正交化价值偏好向量与指令跟随向量来实现伦理偏好的对齐。
- 实验结果表明，所提方法有效消除了模型的首选偏见，准确率提升至98%以上。
📝 摘要（中文）
大型语言模型（LLMs）在需要权衡冲突道德价值的应用中越来越多地被部署，但即使是强大的模型也表现出隐藏的偏见和脆弱的指令跟随能力。本文引入了一个包含12000个实例的两选项困境数据集，涵盖诚实与正义、正义与自主、以及自主与诚实之间的三种价值冲突，并提供了其在印地语、阿拉伯语、西班牙语和中文的翻译，以探讨跨语言行为。在对GPT-5-mini的基准测试中，发现其在没有给定政策的情况下，在所有五种语言中始终偏向诚实而非自主。Llama-3.2-1/3B模型表现出强烈的首选偏见，但通过普通微调和直接偏好优化微调有效消除了这种偏见，准确率提高至98%以上。为了解耦数据集中学习相关性的影响与抽象价值，本文提出了一种基于任务向量转移的实验方法。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在伦理决策中存在的偏见和指令跟随能力不足的问题。现有方法在处理道德价值冲突时，往往无法有效区分不同价值之间的优先级，导致模型输出不一致或偏向某一特定价值。
核心思路：论文提出了一种通过任务向量组合的方法，旨在通过正交化价值偏好向量与一般指令跟随向量，来实现对伦理偏好的有效对齐。这种设计使得模型能够在不同的伦理价值之间进行更为灵活的调整。
技术框架：整体架构包括数据集构建、任务向量计算、正交化处理和模型微调四个主要模块。首先构建包含多种道德困境的数据集，然后计算出每种价值偏好的任务向量，接着进行正交化处理，最后通过微调模型来实现对伦理偏好的调整。
关键创新：最重要的技术创新在于提出了任务向量转移的实验方法，通过正交化处理有效隔离了特定价值偏好的方向。这一方法与现有的直接微调方法相比，能够更好地控制模型的伦理输出。
关键设计：在实验中，采用了多种损失函数来优化模型的输出，同时对任务向量的计算和正交化过程进行了详细设计，以确保模型能够准确反映不同伦理价值之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-5-mini在没有政策指导的情况下，始终偏向诚实而非自主。而通过普通微调和直接偏好优化微调，Llama-3.2-1/3B模型的准确率提升至98%以上，显著改善了模型的伦理决策能力。
🎯 应用场景
该研究的潜在应用领域包括自动化伦理决策系统、智能客服、社交机器人等。在这些领域中，能够有效处理伦理冲突的语言模型将极大提升用户体验和信任度，未来可能对人机交互产生深远影响。
📄 摘要（原文）
Large Language Models (LLMs) are increasingly deployed in applications that must weigh clashing moral values, yet even strong models exhibit hidden biases and brittle instruction-following across languages. We introduce a 12,000-instance dataset of two-option dilemmas covering pairwise three value conflicts: Honesty vs. Justice, Justice vs. Autonomy, and Autonomy vs. Honesty, along with their translations into Hindi, Arabic, Spanish, and Chinese, to probe cross-lingual behavior. Benchmarking on GPT-5-mini reveals that it consistently favors Honesty over Autonomy across all five languages when no policy is given. The Llama-3.2-1/3B models exhibit strong first-option bias; however, both plain fine-tuning and Direct Preference Optimization fine-tuning effectively remove this bias, increasing accuracy to greater than 98%. In order to decouple the effect of learning correlations in the dataset from abstract values, we propose a task vector transfer based experiment where after computing the task vectors for a direction of value preference we orthogonalize it with respect to the general instruction following vector. Our experiment shows that this method is effective in isolating the direction of the specific value preference that can successfully be used to conduct task arithmetic to obtain a model with the opposite stance.