Anticipating Social Consequences with Distributional World Models

📄 arXiv: 2610.30657v1 📥 PDF

作者: Viet-Thanh Pham, Thuy-Trang Vu, Zhuang Li, Lizhen Qu, Gholamreza Haffari

分类: cs.AI

发布日期: 2026-10-22

备注: 29 pages, 8 figures

💡 一句话要点

提出分布式社会世界模型以解决社交互动预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 社交世界模型 多模态预测 智能体决策 深度学习 机器人协作

📋 核心要点

  1. 现有的社交世界模型在处理多种可能的未来时存在局限，通常只能预测单一结果，导致重要的替代选择被忽视。
  2. 本文提出的分布式社会世界模型（DSWM）能够在一次输出中同时预测多个替代反应及其概率，从而提高决策的全面性。
  3. 在实验中，DSWM在多个环境下的表现优于基线模型，特别是在未见环境中，显示出其良好的泛化能力和预测准确性。

📝 摘要（中文）

社会世界模型预测在某一行动后互动的发展，帮助智能体进行谈判、合作和调解。在这些情况下，一项行动可能导致多种合理的未来，因此仅预测一个未来可能会忽视重要的替代结果，而通过重复模拟探索这些结果会增加推理成本。本文提出了分布式社会世界模型（DSWM），该模型能够在每个候选行动的输出中预测替代反应、其概率以及即时和最终结果值。我们在重复模拟上使用监督微调和GRPO训练了一个4B模型。在推理时，智能体利用这些可能的后果来选择行动。在三个已见和两个未见的环境中，DSWM在15个指标中取得了13项的最佳平均表现。消融实验表明，保留多个未来及其预测概率在所有五个环境中均改善了结果。

🔬 方法详解

问题定义：本文旨在解决社交互动中对未来结果的预测问题。现有方法通常只能提供单一的未来预测，忽视了多种可能的后果，导致决策的局限性。

核心思路：DSWM通过在一次输出中预测多个替代反应及其概率，旨在全面捕捉社交互动的复杂性。这种设计使得智能体能够在决策时考虑多种可能性，从而提高决策的灵活性和准确性。

技术框架：DSWM的整体架构包括数据收集、模型训练和推理三个主要阶段。在训练阶段，模型通过重复模拟和监督微调进行学习；在推理阶段，智能体利用模型输出的多个未来结果来选择最佳行动。

关键创新：DSWM的核心创新在于其能够同时预测多个未来结果及其概率，这与传统方法的单一预测形成鲜明对比。这种方法不仅提高了预测的全面性，还降低了推理成本。

关键设计：在模型设计中，采用了4B参数的深度学习架构，并结合了监督微调和GRPO技术。损失函数的设计考虑了多种未来结果的概率分布，以确保模型能够有效学习和预测不同的社交互动结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DSWM在三个已见和两个未见的环境中表现优异，13个指标中取得了最佳平均表现，显示出其在复杂社交互动中的有效性。消融实验表明，保留多个未来及其预测概率在所有五个环境中均显著改善了结果，验证了模型的优势。

🎯 应用场景

该研究的潜在应用领域包括智能代理、机器人协作、社交机器人等。通过更准确地预测社交互动的后果，智能体能够在复杂环境中更好地进行决策，提升人机交互的自然性和有效性。未来，该模型有望在自动化谈判、冲突解决等领域发挥重要作用。

📄 摘要（原文）

Social world models predict how interactions develop after an action, helping agents negotiate, cooperate and mediate. In these situations, one action can lead to several plausible futures, hence predicting only one future can overlook consequential alternatives, while exploring them through repeated simulations increases inference cost. We propose DSWM, a Distributional Social World Model that predicts alternative responses, their probabilities and immediate and final outcome values in one output per candidate action. We train a 4B model on repeated simulations using supervised fine-tuning and GRPO. At inference time, the actor uses these possible consequences to choose an action. Across three seen and two unseen environments, with interaction backbones absent from training collection, DSWM achieves the best average performance on 13 of 15 metrics. Ablations show that retaining multiple futures and their predicted probabilities improves outcomes in all five environments.