Beyond Partner Diversity: An Influence-Based Team Steering Framework for Zero-Shot Human-Machine Teaming

📄 arXiv: 2605.15400v1 📥 PDF

作者: Wei Sheng, Rohan Paleja

分类: cs.AI

发布日期: 2026-05-14

💡 一句话要点

提出基于影响力的团队引导框架，用于零样本人机协作。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人机协作 零样本学习 强化学习 影响力塑造 团队协作 多智能体系统 Overcooked-AI

📋 核心要点

  1. 现有HMT方法依赖大量人机交互数据，成本高昂，且难以泛化到新的队友和场景。
  2. IBTS框架通过影响塑造，激励智能体探索多样且高效的团队交互模式，提升协作能力。
  3. 实验表明，IBTS在模拟和真实人机协作中均优于基线方法，验证了其有效性。

📝 摘要（中文）

人工智能体正迅速从孤立的工具发展为交互式协作者，但数据驱动的人机协作（HMT）方法仍然依赖于跨领域、队友和团队规模的人机交互数据，成本高昂。零样本协作（ZSC）通过模拟不同的伙伴群体来近似未见过的伙伴的行为，从而解决这一瓶颈。然而，仅靠伙伴覆盖是不够的，因为团队设置会扩大，沟通会退化。为了弥补这一缺陷，我们提出了基于影响力的团队引导（IBTS）框架，该框架使用影响塑造来激励智能体发现多样化、高性能的团队交互模式，并进一步引导正在进行的轨迹朝着更强的学习协调模式发展。我们在Overcooked-AI中的双智能体和三智能体设置中评估了IBTS，从而测试了学习到的协调结构是否可以转移到二元交互之外。我们的评估包括模拟伙伴、合成伙伴风格变化，以及我们所知第一个涉及两个真实人类队友和一个机器队友的30人Overcooked-AI HMT研究。在这些评估中，IBTS提高了团队对抗竞争基线的性能，突出了扩展ZSC的必要性，即将稀疏奖励协调机制与伙伴变化覆盖相结合，而不是仅仅依赖多样性。

🔬 方法详解

问题定义：论文旨在解决零样本人机协作（Zero-Shot Human-Machine Teaming, ZSC）中，仅依赖伙伴多样性覆盖不足以应对复杂团队环境的问题。现有ZSC方法在团队规模扩大、沟通受限时，难以保证高性能的协作效果。因此，需要一种能够引导智能体学习更鲁棒、高效协作模式的框架。

核心思路：论文的核心思路是利用“影响力塑造”（Influence Shaping）来引导智能体学习。通过奖励智能体采取能够促进团队协作的行为，鼓励其探索多样化的交互模式，并最终形成稳定的、高性能的协作策略。这种方法旨在超越简单的伙伴多样性覆盖，提升智能体在复杂团队环境下的适应性和协作能力。

技术框架：IBTS框架包含以下主要模块：1) 环境模拟器：用于模拟不同的团队协作场景，包括不同的伙伴类型和沟通条件。2) 智能体：使用强化学习算法训练的智能体，负责与人类或其他智能体协作完成任务。3) 影响力塑造模块：根据智能体的行为，计算并施加奖励信号，引导其学习协作策略。4) 策略评估模块：评估智能体的协作性能，并用于调整影响力塑造的参数。

关键创新：IBTS的关键创新在于将影响力塑造与零样本协作相结合。传统的ZSC方法侧重于模拟不同的伙伴类型，以提高智能体的泛化能力。而IBTS则通过主动引导智能体学习协作策略，使其能够更好地适应未知的伙伴和环境。这种方法能够更有效地利用稀疏奖励信号，提升智能体的学习效率和协作性能。

关键设计：IBTS框架的关键设计包括：1) 奖励函数：设计能够反映团队协作效果的奖励函数，例如团队完成任务的速度、资源利用率等。2) 影响力塑造策略：选择合适的影响力塑造策略，例如基于差异奖励（Difference Reward）或信用分配（Credit Assignment）的方法。3) 探索策略：采用合适的探索策略，例如ε-greedy或UCB，以鼓励智能体探索不同的协作模式。4) 超参数调优：通过实验调整影响力塑造的强度、学习率等超参数，以获得最佳的协作性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IBTS在Overcooked-AI环境中显著提升了团队的协作性能。在双智能体和三智能体设置中，IBTS均优于基线方法。特别是在包含两个真实人类队友和一个机器队友的实验中，IBTS也取得了显著的性能提升，验证了其在真实人机协作场景中的有效性。具体提升幅度未知，原文未提供具体数值。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如：智能制造、医疗辅助、自动驾驶等。通过提升机器在复杂团队环境下的协作能力，可以提高工作效率、降低错误率，并改善人机交互体验。未来，该方法有望扩展到更大规模、更复杂的团队协作任务中，实现更智能、更高效的人机协同。

📄 摘要（原文）

While AI agents are rapidly advancing from isolated tools to interactive collaborators, data-driven human-machine teaming (HMT) methods remain costly in their reliance on human interaction data across domains, teammates, and team sizes. Zero-shot coordination (ZSC) addresses this bottleneck by simulating diverse partner populations to approximate how unseen partners might behave. However, partner coverage alone is insufficient as team settings scale and communication becomes degraded. To remedy this deficiency, we propose Influence-Based Team Steering (IBTS), a framework that uses influence shaping to incentivize agents to discover diverse, high-performing team interaction patterns and further steers ongoing trajectories toward stronger learned coordination modes. We assess IBTS on Overcooked-AI in both two-agent and three-agent settings, allowing us to test whether learned coordination structure transfers beyond dyadic interaction. Our evaluation includes simulated partners, synthetic partner-style variation, and, to our knowledge, the first 30-subject Overcooked-AI HMT study involving two real human teammates and one machine teammate. Across these evaluations, IBTS improves team performance against competing baselines, highlighting the need for scaled ZSC to combine sparse-reward coordination mechanisms with partner-variation coverage rather than relying on diversity alone.