TriAlign: Towards Universal Truth Consistency in Personalized LLM Alignment

📄 arXiv: 2606.01755v1 📥 PDF

作者: Thi-Nhung Nguyen, Linhao Luo, Rollin Omari, Junae Kim, Thuy-Trang Vu, Dinh Phung

分类: cs.AI, cs.CL

发布日期: 2026-06-01

💡 一句话要点

TriAlign：面向个性化LLM对齐的通用真值一致性方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化LLM 真值一致性 多智能体强化学习 公平性 对齐方法

📋 核心要点

  1. 现有LLM对齐方法忽略了社会群体间的真值一致性，导致某些群体获得不准确的回复。
  2. TriAlign采用多智能体强化学习，将每个社会群体建模为智能体，优化真值准确性、一致性和个性化。
  3. 实验表明，TriAlign能有效减少群体间真值差异，同时提升客观任务性能和个性化质量。

📝 摘要（中文）

个性化大型语言模型能够根据用户偏好和社会属性调整回复，但可能导致跨社会群体的通用真值不一致，即某些群体在客观任务上系统性地获得不太准确的回复。现有对齐方法要么忽略个性化，要么主要关注主观偏好对齐，很大程度上忽略了通用真值中的公平性和一致性。为了解决这个问题，我们研究了真值不变对齐（TIA），这是一个针对个性化LLM的对齐问题，旨在确保通用真值在社会群体之间保持一致，同时保留个性化。我们提出了TriAlign，这是第一个用于TIA的离线多智能体强化学习（MARL）框架，其中每个社会群体都被建模为一个交互的智能体。TriAlign通过公平感知目标和显式的不一致性惩罚，联合优化通用真值准确性、跨群体真值一致性和个性化。在各种基准测试上的实验表明，TriAlign在这些目标之间实现了比强基线更强的平衡，减少了跨社会群体的通用真值差异，同时提高了客观任务性能和个性化质量。

🔬 方法详解

问题定义：个性化LLM在适应用户偏好和社会属性时，可能导致不同社会群体在通用真值上的不一致性，即某些群体获得的客观信息更不准确。现有对齐方法要么忽略个性化，要么只关注主观偏好，未能解决真值一致性问题。

核心思路：将每个社会群体视为一个智能体，通过多智能体强化学习（MARL）框架，联合优化通用真值准确性、跨群体真值一致性和个性化。通过公平感知目标和不一致性惩罚，促使模型在满足个性化需求的同时，保持各群体间真值的一致性。

技术框架：TriAlign框架包含以下主要组成部分：1) 环境：模拟用户与LLM的交互，并根据用户所属的社会群体提供个性化提示。2) 智能体：每个社会群体对应一个智能体，负责根据环境状态选择动作（即调整LLM的参数）。3) 奖励函数：综合考虑通用真值准确性、跨群体真值一致性和个性化，为智能体提供反馈。4) 强化学习算法：使用MARL算法训练智能体，使其能够最大化累积奖励。

关键创新：TriAlign是第一个针对个性化LLM的真值不变对齐（TIA）问题提出的MARL框架。它显式地建模了不同社会群体之间的交互，并通过公平感知目标和不一致性惩罚，实现了通用真值准确性、跨群体真值一致性和个性化的联合优化。与现有方法相比，TriAlign更关注公平性和一致性，能够有效减少群体间的真值差异。

关键设计：TriAlign的关键设计包括：1) 公平感知目标：奖励函数中包含一个公平性指标，用于衡量不同群体之间的真值差异。2) 不一致性惩罚：对LLM在不同群体中产生不一致的真值回复进行惩罚。3) MARL算法：选择合适的MARL算法（例如MADDPG），以实现智能体之间的协同训练。4) 奖励函数权重：合理设置通用真值准确性、跨群体真值一致性和个性化在奖励函数中的权重，以平衡不同目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TriAlign在多个基准测试中优于现有方法，能够在提高通用真值准确性和个性化质量的同时，显著减少跨社会群体的真值差异。具体而言，TriAlign在真值一致性方面取得了X%的提升（具体数值请参考论文），同时保持了与基线相当甚至更高的客观任务性能和个性化质量。

🎯 应用场景

该研究成果可应用于各种需要个性化服务的场景，例如教育、医疗和金融等。通过确保不同社会群体获得一致且准确的信息，可以提高服务的公平性和可信度，避免因信息偏差而产生的歧视或不公正待遇。未来，该方法可以扩展到更复杂的社会属性和更广泛的LLM应用领域。

📄 摘要（原文）

Personalized large language models adapt responses to users' preferences and social attributes, but can introduce substantial universal truth inconsistencies across social groups, where some groups systematically receive less accurate responses on objective tasks. Existing alignment methods either ignore personalization or mainly focus on subjective preference alignment, largely overlooking fairness and consistency in universal truths. To address this gap, we study Truth-Invariant Alignment (TIA), an alignment problem for personalized LLMs that aims to ensure universal truths remain consistent across social groups while preserving personalization. We propose TriAlign, the first offline multi-agent reinforcement learning (MARL) framework for TIA, where each social group is modeled as an agent interacting. TriAlign jointly optimizes universal truth accuracy, cross-group truth consistency, and personalization through a fairness-aware objective and an explicit inconsistency penalty. Experiments across diverse benchmarks demonstrate that TriAlign achieves a stronger balance among these three objectives than strong baselines, reducing universal truth disparities across social groups while improving both objective task performance and personalization quality.