From Delegates to Trustees: How Optimizing for Long-Term Interests Shapes Bias and Alignment in LLM
作者: Suyash Fulay, Jocelyn Zhu, Michiel Bakker
分类: cs.CY, cs.AI
发布日期: 2025-10-14 (更新: 2025-11-16)
💡 一句话要点
探索LLM中委托代理与受托代理的权衡，优化长期利益以塑造偏见与一致性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 长期利益 短期偏好 委托代理 受托代理
📋 核心要点
- 现有方法侧重于行为克隆，即让LLM模仿用户表达的偏好，忽略了长期利益与短期偏好之间的权衡。
- 论文提出将LLM视为受托代理，通过时间效用框架权衡短期和长期利益，模拟投票决策。
- 实验表明，受托代理在共识问题上更符合专家意见，但在主观问题上可能存在偏见。
📝 摘要（中文）
大型语言模型（LLM）在预测调查回复和政策偏好方面表现出令人鼓舞的准确性，这增加了人们对它们在各个领域代表人类利益的潜力的兴趣。现有研究大多集中于“行为克隆”，即评估模型在多大程度上重现个体表达的偏好。借鉴政治代表理论，我们强调了一个未被充分探索的设计权衡：AI系统应该充当委托代理，反映表达的偏好，还是充当受托代理，对最符合个人利益的内容进行判断。这种权衡与LLM的谄媚问题密切相关，即模型可以鼓励与用户短期偏好一致但不利于其长期利益的行为或验证信念。通过一系列模拟美国政策问题投票的实验，我们应用了一个权衡短期和长期利益的时间效用框架（模拟受托代理角色），并将投票结果与行为克隆模型（模拟委托代理）进行比较。我们发现，倾向于长期利益的受托代理式预测产生的政策决策，在有明确共识的问题上更符合专家共识，但在缺乏明确共识的主题上，也表现出更大的偏向模型默认立场的倾向。这些发现揭示了设计AI系统来代表人类利益的一个根本性权衡。委托代理模型更好地保留了用户自主权，但可能偏离有充分支持的政策立场，而受托代理模型可以在有充分理解的问题上促进福利，但存在在主观主题上家长式作风和偏见的风险。
🔬 方法详解
问题定义：现有的大型语言模型在模拟人类决策时，主要采用“行为克隆”的方式，即直接复制用户表达的偏好。这种方法忽略了用户短期偏好与长期利益之间的冲突，可能导致模型强化有害或不明智的决策。因此，需要研究如何在LLM中更好地权衡短期和长期利益，使其能够做出更符合用户长期福祉的决策。
核心思路：论文借鉴了政治代表理论中的“委托代理”和“受托代理”概念。委托代理直接反映选民的偏好，而受托代理则根据自己的判断，做出最符合选民利益的决策。论文的核心思路是将LLM设计为受托代理，通过引入时间效用框架，对短期和长期利益进行加权，从而模拟更符合用户长期利益的决策。
技术框架：论文构建了一个模拟投票的实验框架。首先，收集关于各种政策问题的用户偏好数据。然后，训练两种类型的LLM：一种是行为克隆模型（模拟委托代理），直接预测用户的投票选择；另一种是受托代理模型，通过时间效用函数对短期和长期利益进行加权，并预测投票选择。最后，比较两种模型在不同政策问题上的投票结果，以及与专家共识的对齐程度。
关键创新：论文的关键创新在于将政治代表理论引入LLM研究，并提出了基于时间效用框架的受托代理模型。这种模型能够更好地权衡短期和长期利益，从而做出更符合用户长期福祉的决策。此外，论文还揭示了委托代理和受托代理之间的权衡：委托代理更好地保留了用户自主权，但可能偏离有充分支持的政策立场，而受托代理模型可以在有充分理解的问题上促进福利，但存在在主观主题上家长式作风和偏见的风险。
关键设计：时间效用函数的具体形式是一个关键设计。论文中可能使用了折扣因子来降低未来利益的权重。此外，如何定义和衡量不同政策问题的“专家共识”也是一个重要的技术细节。论文可能使用了某种形式的专家调查或文献综述来确定专家共识。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在有明确共识的政策问题上，受托代理模型产生的投票结果更符合专家共识。然而，在缺乏明确共识的主题上，受托代理模型也表现出更大的偏向模型默认立场的倾向。这揭示了设计AI系统来代表人类利益的一个根本性权衡。
🎯 应用场景
该研究成果可应用于多个领域，例如个性化推荐系统、智能助手和政策模拟。通过将LLM设计为受托代理，可以帮助用户做出更明智的决策，避免受到短期偏好的影响。此外，该研究还可以用于评估不同政策的长期影响，并为政策制定者提供参考。
📄 摘要（原文）
Large language models (LLMs) have shown promising accuracy in predicting survey responses and policy preferences, which has increased interest in their potential to represent human interests in various domains. Most existing research has focused on "behavioral cloning", effectively evaluating how well models reproduce individuals' expressed preferences. Drawing on theories of political representation, we highlight an underexplored design trade-off: whether AI systems should act as delegates, mirroring expressed preferences, or as trustees, exercising judgment about what best serves an individual's interests. This trade-off is closely related to issues of LLM sycophancy, where models can encourage behavior or validate beliefs that may be aligned with a user's short-term preferences, but is detrimental to their long-term interests. Through a series of experiments simulating votes on various policy issues in the U.S. context, we apply a temporal utility framework that weighs short and long-term interests (simulating a trustee role) and compare voting outcomes to behavior-cloning models (simulating a delegate). We find that trustee-style predictions weighted toward long-term interests produce policy decisions that align more closely with expert consensus on well-understood issues, but also show greater bias toward models' default stances on topics lacking clear agreement. These findings reveal a fundamental trade-off in designing AI systems to represent human interests. Delegate models better preserve user autonomy but may diverge from well-supported policy positions, while trustee models can promote welfare on well-understood issues yet risk paternalism and bias on subjective topics.