Language Agents as Digital Representatives in Collective Decision-Making
作者: Daniel Jarrett, Miruna Pîslar, Michiel A. Bakker, Michael Henry Tessler, Raphael Köster, Jan Balaguer, Romuald Elie, Christopher Summerfield, Andrea Tacchetti
分类: cs.LG, cs.AI, cs.CL, cs.CY
发布日期: 2025-02-13
💡 一句话要点
提出基于语言代理的数字代表，用于群体决策模拟与机制设计。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言代理 群体决策 数字代表 大型语言模型 多智能体系统
📋 核心要点
- 群体决策中，个体偏好难以有效表达，现有方法缺乏对个体行为的精准模拟。
- 利用大型语言模型，训练语言代理作为数字代表，模拟个体行为并表达偏好。
- 在共识寻找场景的实验表明，微调后的语言模型能够有效充当数字代表。
📝 摘要（中文）
本文研究了在群体决策过程中，如何利用语言代理作为数字代表来表达个体偏好。在群体从多个备选项中选择偏好结果的背景下，个体通过代理参与决策过程，从而实现“代表”。为此，学习到的人类行为模型有潜力扮演这一角色，对多智能体情景研究和机制设计具有实际意义。本文探讨了训练语言代理作为人类代理代表的可行性，使其能够恰当地表达所代表个体的偏好。首先，将群体决策形式化为一组智能体与决策机制之间交互的周期性过程。在此基础上，将数字代表问题形式化为模拟智能体行为以产生等效机制结果的问题。最后，在人类共识寻找的场景中进行实证研究，证明了微调大型语言模型以充当数字代表的可行性。
🔬 方法详解
问题定义：本文旨在解决群体决策中个体偏好表达的问题。现有方法难以准确模拟个体行为，导致群体决策结果可能无法真实反映个体意愿。特别是在多智能体系统研究和机制设计中，缺乏有效的个体行为模拟工具。
核心思路：本文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，训练语言代理作为个体的数字代表。这些代理能够理解个体的偏好，并在群体决策过程中以自然语言的形式表达这些偏好，从而影响决策结果。通过模拟个体行为，语言代理可以帮助研究人员更好地理解群体决策过程，并设计更有效的决策机制。
技术框架：本文的技术框架主要包括以下几个阶段：1) 将群体决策过程形式化为智能体与决策机制之间的交互过程；2) 定义数字代表问题，即如何训练代理模拟个体行为以产生等效的决策结果；3) 利用人类共识寻找的数据集，微调大型语言模型，使其能够理解和表达个体偏好；4) 评估语言代理在模拟个体行为和影响决策结果方面的表现。
关键创新：本文的关键创新在于将大型语言模型应用于群体决策的个体行为模拟。与传统的基于规则或模型的智能体不同，语言代理能够以自然语言的形式进行交互，更贴近人类的决策方式。此外，通过微调预训练的语言模型，可以有效地利用已有的知识，降低训练成本。
关键设计：在实验中，作者使用了预训练的大型语言模型，并利用人类共识寻找的数据集进行微调。具体的微调策略和超参数设置未知。损失函数的设计目标是使语言代理能够准确地表达个体偏好，并影响决策结果。具体的网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
本文在人类共识寻找的场景中进行了实验，证明了微调大型语言模型以充当数字代表的可行性。具体的性能数据和对比基线未知，但实验结果表明，语言代理能够有效地表达个体偏好，并影响群体决策的结果。这为利用语言模型进行个体行为模拟和群体决策研究提供了新的思路。
🎯 应用场景
该研究成果可应用于多智能体系统仿真、机制设计、在线协商平台等领域。通过使用数字代表，可以更有效地模拟真实世界中的群体决策过程，从而帮助设计更公平、高效的决策机制。此外，该技术还可以应用于个性化推荐系统，根据用户的偏好生成定制化的推荐结果。
📄 摘要（原文）
Consider the process of collective decision-making, in which a group of individuals interactively select a preferred outcome from among a universe of alternatives. In this context, "representation" is the activity of making an individual's preferences present in the process via participation by a proxy agent -- i.e. their "representative". To this end, learned models of human behavior have the potential to fill this role, with practical implications for multi-agent scenario studies and mechanism design. In this work, we investigate the possibility of training \textit{language agents} to behave in the capacity of representatives of human agents, appropriately expressing the preferences of those individuals whom they stand for. First, we formalize the setting of \textit{collective decision-making} -- as the episodic process of interaction between a group of agents and a decision mechanism. On this basis, we then formalize the problem of \textit{digital representation} -- as the simulation of an agent's behavior to yield equivalent outcomes from the mechanism. Finally, we conduct an empirical case study in the setting of \textit{consensus-finding} among diverse humans, and demonstrate the feasibility of fine-tuning large language models to act as digital representatives.