Large Language Model Orchestration under Heterogeneous Preferences via Explicit Persona Inference

📄 arXiv: 2610.07587v1 📥 PDF

作者: Shuqing Shi, Ziyan Wang, Milind Tambe, Yali Du

分类: cs.CL

发布日期: 2026-10-06

💡 一句话要点

提出HARP框架以解决异质偏好下的LLM协调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长语言模型 多代理系统 贝叶斯推断 偏好推断 智能决策 游戏理论 协调机制

📋 核心要点

  1. 现有的LLM协调器在处理代理的隐性偏好时缺乏有效的更新规则，导致早期错误无法纠正并持续传播。
  2. HARP框架通过将信念从提示文本中移出，利用贝叶斯规则维护每个代理的后验偏好，从而实现有效推断。
  3. 实验结果表明，HARP在多种场景下表现优异，尤其是在偏好完全决定收益的情况下，超越了其他非预言者方法。

📝 摘要（中文）

本论文研究了如何协调一组自主代理以实现共同目标或最大化集体福利的问题。现有的LLM协调器在处理代理的隐性偏好时存在不足，无法有效更新信念。为此，提出了HARP（异质偏好代理协调通过偏好推断），该框架通过贝叶斯规则维护每个代理的数值后验，并将推断与语言模型的推理解耦。HARP在理论上证明了其与显式联合推断具有相同的贝叶斯遗憾，并在多个实验中表现出色，超越了现有方法。

🔬 方法详解

问题定义：本论文旨在解决异质代理在协调过程中隐性偏好的推断问题。现有方法依赖于提示文本携带信念，缺乏有效的更新机制，导致错误信息的传播。

核心思路：HARP框架的核心思想是将信念维护与语言模型的推理过程解耦，通过贝叶斯规则对每个代理的偏好进行数值后验更新，从而提高推断的准确性和效率。

技术框架：HARP的整体架构包括代理偏好的后验维护模块、基于贝叶斯推断的更新机制，以及与语言模型的交互模块。每个代理都有一个数值后验，更新过程通过观察代理的行为进行。

关键创新：HARP的主要创新在于将信念的维护从提示文本中分离出来，采用数值后验更新机制，使得推断过程更加灵活和准确。这一设计与现有方法的本质区别在于避免了错误信息的累积。

关键设计：HARP框架中的关键设计包括每个代理的后验偏好数值表示、基于贝叶斯规则的闭式更新，以及对语言模型输出的候选偏好概率的利用。这些设计确保了推断的高效性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，HARP在三种不同的场景下均表现优异，特别是在偏好完全决定收益的情况下，其性能超过了其他非预言者方法，达到了与显式联合推断相同的$ ilde O( ext{sqrt} K)$贝叶斯遗憾，展示了其强大的推断能力和实用性。

🎯 应用场景

HARP框架在多代理系统、智能决策支持和游戏理论等领域具有广泛的应用潜力。通过有效推断代理的隐性偏好，HARP能够提升多智能体系统的协调效率，促进复杂任务的协作与优化，未来可能在机器人协作、智能交通和资源管理等场景中发挥重要作用。

📄 摘要（原文）

LLM orchestration investigates how an orchestrator coordinates a group of autonomous agents to achieve common goals or maximize collective welfare. The agents are typically heterogeneous, each holding a private preference that it pursues but does not reveal. Inferring such hidden preferences from behavior has been a subject of long-standing research in game theory and multi-agent systems. The core challenge lies in maintaining a belief over every agent's preference and updating it from the agents' observed actions. Existing LLM orchestrators carry that belief as prompt text with no explicit update rule. This lets early errors persist and propagate rather than be corrected. We therefore propose \textbf{HARP} (Heterogeneous-preference Agent oRchestration via Preference inference), a novel framework that moves the belief out of the prompt. Specifically, HARP maintains one numeric posterior per agent over a finite set of candidate preferences and updates it in closed form by Bayes' rule. The language model supplies only actions and per-candidate likelihoods, so estimation is decoupled from its reasoning. We prove that HARP attains the same $\tilde O(\sqrt K)$ Bayesian regret as explicit joint inference when the factorization is exact. Furthermore, HARP\textsuperscript{+} augments planning with a bonus for actions that distinguish the candidates, so inference continues even when the optimal action is uninformative. Empirical results on three substrates, ranging from payoffs the preferences fully determine, through payoffs that depend on more than them, to scales where explicit joint inference is infeasible, demonstrate that HARP\textsuperscript{+} is the strongest non-oracle method across the class our theory identifies.