ProMediate: A Socio-cognitive framework for evaluating proactive agents in multi-party negotiation

📄 arXiv: 2510.25224 📥 PDF

作者: Ziyi Liu, Bahar Sarrafzadeh, Pei Zhou, Longqi Yang, Jieyu Zhao, Ashish Sharma

分类: cs.CL

发布日期: 2026-04-07

💡 一句话要点

ProMediate：用于评估多方协商中主动代理的社会认知框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多方协商 主动代理 社会认知智能 AI调解 评估框架

📋 核心要点

  1. 现有方法缺乏对多方协商场景中主动AI代理的系统评估，阻碍了相关技术的发展。
  2. ProMediate框架通过模拟协商环境和提供社会认知评估指标，实现了对主动AI调解代理的全面评估。
  3. 实验结果表明，具有社会智能的调解代理在困难场景下，共识达成率和响应速度均优于通用基线。

📝 摘要（中文）

大型语言模型（LLM）越来越多地应用于代理框架中，以辅助个体用户。然而，对于能够主动管理复杂的多方协作的代理的需求日益增长。针对此类主动代理的系统评估方法仍然稀缺，限制了在开发能够有效支持多人协作的AI方面的进展。协商为此挑战提供了一个严峻的试验台，它需要社会认知智能来驾驭多个参与者和多个主题之间相互冲突的利益，并达成共识。在此，我们提出了ProMediate，这是第一个用于评估复杂、多主题、多方协商中主动AI调解代理的框架。ProMediate由两个核心组件组成：（i）一个基于现实协商案例和理论驱动的难度级别（ProMediate-Easy、ProMediate-Medium和ProMediate-Hard）的模拟试验台，带有一个基于社会认知调解理论的即插即用型主动AI调解器，能够灵活地决定何时以及如何进行干预；（ii）一个社会认知评估框架，带有一套新的指标来衡量共识变化、干预延迟、调解器有效性和智能。这些组件共同建立了一个系统的框架，用于评估多方环境中主动AI代理的社会认知智能。我们的结果表明，一个具有社会智能的调解代理通过更快、更有针对性的干预优于通用基线。在ProMediate-Hard设置中，我们的社会调解器相比于通用基线，共识变化提高了3.6个百分点（10.65％ vs 7.01％），同时响应速度提高了77％（15.98s vs. 3.71s）。总之，ProMediate提供了一个严谨的、基于理论的试验台，以推进主动的、具有社会智能的代理的开发。

🔬 方法详解

问题定义：论文旨在解决多方协商场景下，如何系统性地评估主动AI代理的社会认知智能的问题。现有方法缺乏针对此类代理的有效评估框架，难以衡量其在复杂协商环境中的表现，尤其是在处理多个参与者和多个议题时。现有方法无法有效评估AI在促进共识、减少冲突和提高协商效率方面的能力。

核心思路：论文的核心思路是构建一个模拟协商环境，并设计一套社会认知评估指标，从而全面评估主动AI调解代理的性能。该框架基于社会认知调解理论，使代理能够根据参与者的行为和协商状态，灵活地进行干预，以促进共识的达成。通过对比不同调解策略的效果，可以深入了解AI代理的社会认知智能水平。

技术框架：ProMediate框架包含两个主要组件：模拟试验台和社会认知评估框架。模拟试验台基于现实协商案例，并根据难度分为ProMediate-Easy、ProMediate-Medium和ProMediate-Hard三个级别。该试验台提供了一个即插即用的主动AI调解器，该调解器能够根据社会认知调解理论灵活地决定何时以及如何进行干预。社会认知评估框架则提供了一套新的指标，用于衡量共识变化、干预延迟、调解器有效性和智能。

关键创新：该论文的关键创新在于提出了ProMediate框架，这是第一个专门用于评估多方协商中主动AI调解代理的框架。该框架结合了模拟环境和社会认知评估指标，能够全面评估AI代理的社会认知智能。此外，该框架还提供了一个即插即用的调解器，方便研究人员进行实验和比较。

关键设计：ProMediate框架的关键设计包括：(1) 基于现实协商案例的模拟环境，确保评估的有效性；(2) 基于社会认知调解理论的调解策略，使代理能够根据参与者的行为进行干预；(3) 一套全面的社会认知评估指标，包括共识变化、干预延迟、调解器有效性和智能；(4) 分为不同难度的协商场景，方便评估代理在不同情况下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在ProMediate-Hard设置中，具有社会智能的调解代理相比于通用基线，共识变化提高了3.6个百分点（10.65％ vs 7.01％），同时响应速度提高了77％（15.98s vs. 3.71s）。这些结果表明，ProMediate框架能够有效地评估AI代理的社会认知智能，并且具有社会智能的代理在复杂协商场景中表现更佳。

🎯 应用场景

ProMediate框架可应用于各种需要多方协作和协商的场景，例如在线会议、项目管理、供应链管理和国际关系等。该框架可以帮助开发更智能、更有效的AI代理，以促进共识达成、减少冲突和提高协作效率。未来，该框架可以扩展到更复杂的协商场景，并与其他AI技术相结合，例如自然语言处理和机器学习，以进一步提高AI代理的社会认知智能。

📄 摘要（原文）

While Large Language Models (LLMs) are increasingly used in agentic frameworks to assist individual users, there is a growing need for agents that can proactively manage complex, multi-party collaboration. Systematic evaluation methods for such proactive agents remain scarce, limiting progress in developing AI that can effectively support multiple people together. Negotiation offers a demanding testbed for this challenge, requiring socio-cognitive intelligence to navigate conflicting interests between multiple participants and multiple topics and build consensus. Here, we present ProMediate, the first framework for evaluating proactive AI mediator agents in complex, multi-topic, multi-party negotiations. ProMediate consists of two core components: (i) a simulation testbed based on realistic negotiation cases and theory-driven difficulty levels (ProMediate-Easy, ProMediate-Medium, and ProMediate-Hard), with a plug-and-play proactive AI mediator grounded in socio-cognitive mediation theories, capable of flexibly deciding when and how to intervene; and (ii) a socio-cognitive evaluation framework with a new suite of metrics to measure consensus changes, intervention latency, mediator effectiveness, and intelligence. Together, these components establish a systematic framework for assessing the socio-cognitive intelligence of proactive AI agents in multi-party settings. Our results show that a socially intelligent mediator agent outperforms a generic baseline, via faster, better-targeted interventions. In the ProMediate-Hard setting, our social mediator increases consensus change by 3.6 percentage points compared to the generic baseline (10.65\% vs 7.01\%) while being 77\% faster in response (15.98s vs. 3.71s). In conclusion, ProMediate provides a rigorous, theory-grounded testbed to advance the development of proactive, socially intelligent agents.