MA-UITD: Offline Multi-Agent Reward Inference for Characterizing Continuous Social Behavior

📄 arXiv: 2610.29237v1 📥 PDF

作者: Zeyuan Zhang, Yiyun Yang, Yuan Cheng, Herbert Zheng Wu, Yusi Chen

分类: cs.LG, cs.MA

发布日期: 2026-10-21

💡 一句话要点

提出MA-UITD以解决多智能体奖励推断问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体学习 逆强化学习 奖励推断 社会行为分析 机器人协作 行为建模

📋 核心要点

  1. 现有的多智能体逆强化学习方法在推断奖励时面临环境交互和策略优化的限制，难以应用于固定行为数据集。
  2. MA-UITD通过信念条件的后继特征表示每个智能体自身行为的长期后果，从而推断明确的智能体特定奖励。
  3. 在模拟的合作、竞争和一般性任务中，MA-UITD在离散动作设置中表现优异，并在连续动作设置中推断出兼容的奖励结构。

📝 摘要（中文）

多智能体逆强化学习为模仿学习和理解社会互动及决策支持的神经计算提供了强大的框架。然而，从交互智能体中推断奖励的过程面临挑战，因为观察到的选择反映了个人偏好和对他人的期望。现有方法通常需要额外的环境交互、重复的策略优化或对环境动态和动作空间的限制假设，限制了其在固定行为数据集中的适用性。本文提出了多智能体单边逆时间差学习（MA-UITD），这是一种离线方法，旨在从连续状态环境中的联合演示中推断明确的智能体特定奖励。MA-UITD在离散动作设置中超越了基线，并在连续动作设置中推断出行为兼容的奖励特征，提供了对社会行为潜在目标的定量表征。

🔬 方法详解

问题定义：本文旨在解决从多智能体的交互中推断奖励的问题。现有方法往往需要额外的环境交互和复杂的策略优化，限制了其在固定行为数据集上的应用。

核心思路：MA-UITD的核心思路是通过信念条件的后继特征来表示每个智能体自身行为的长期后果，从而推断出明确的智能体特定奖励。这种设计使得推断过程不依赖于已知的环境动态或内循环的策略优化。

技术框架：MA-UITD的整体架构包括信念条件的后继特征计算、共享奖励特征与智能体特定偏好向量的连接、逆时间差一致性和噪声对比行为学习等模块。这些模块共同作用，实现了奖励的推断。

关键创新：MA-UITD的主要创新在于其能够在没有已知动态或内循环优化的情况下，推断出智能体特定的奖励结构。这与现有方法的依赖性形成了鲜明对比。

关键设计：在MA-UITD中，关键的参数设置包括信念条件的后继特征的计算方式、共享奖励特征的设计以及损失函数的选择。这些设计确保了推断过程的有效性和准确性。

📊 实验亮点

在实验中，MA-UITD在离散动作设置中超越了基线，表现出更优的奖励推断能力。在连续动作设置中，MA-UITD成功推断出行为兼容的奖励特征，展示了其在复杂环境中的有效性和适用性。

🎯 应用场景

该研究的潜在应用领域包括社会行为分析、机器人协作、以及人机交互等。通过定量表征智能体的奖励结构，MA-UITD能够为理解社会行为背后的神经计算提供重要的理论基础，促进相关领域的研究与应用。未来，该方法可能在社会科学和人工智能的交叉领域产生深远影响。

📄 摘要（原文）

Multi-agent inverse reinforcement learning offers a powerful framework not only for imitation learning but also for understanding the neural computations supporting social interactions and decision-making. Inferring rewards from interacting agents is challenging because observed choices reflect both personal preferences and expectations about others. Existing methods often require additional environment interaction, repeated policy optimization as an inner loop, or restrictive assumptions about environment dynamics and action spaces, limiting their applicability to fixed behavioral datasets. We introduce Multi-Agent Unilateral Inverse Temporal Difference Learning (MA-UITD), an offline method for inferring explicit agent-specific rewards from joint demonstrations in continuous-state environments with either discrete or bounded continuous actions. Its core idea is to represent the long-term consequences of each agent's own actions through belief-conditioned successor features that average over other agents' behavior. Shared reward features and agent-specific preference vectors connect these unilateral values to the target reward function, while inverse temporal-difference consistency and noise-contrastive behavioral learning enable inference without known dynamics or an inner policy-optimization loop. Across simulated cooperative, competitive, and general-sum tasks, MA-UITD outperforms baselines in discrete-action settings and infers behaviorally compatible reward profiles in continuous-action settings. When applied to experimentally collected social-foraging trajectories, MA-UITD inferred distinct spatial and interaction-dependent reward structures for leaders and followers, providing a quantitative characterization of latent behavioral objectives that may be relevant for understanding the neural computations underlying social behavior.