Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining

📄 arXiv: 2605.14537v1 📥 PDF

作者: Robert Müller, Clemens Müller

分类: cs.AI

发布日期: 2026-05-14

备注: malgai workshop at iclr 2026

💡 一句话要点

提出Cattle Trade多智能体基准，用于评估LLM在策略推理、博弈和议价中的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 大型语言模型 博弈论 策略推理 基准测试

📋 核心要点

  1. 现有智能体基准测试通常孤立地评估LLM的特定能力，缺乏在复杂、动态环境下的综合评估。
  2. Cattle Trade基准通过模拟一个包含拍卖、议价和资源管理的经济游戏，来评估LLM的综合策略推理能力。
  3. 实验结果表明，战略一致性比单纯的支出量更能决定LLM的排名，并揭示了LLM在博弈中的一些常见失败模式。

📝 摘要（中文）

本文提出了Cattle Trade，一个多智能体基准，用于评估大型语言模型（LLM）在不完全信息、对抗交互和资源约束下进行战略推理的能力。该基准在一个持续50-60轮的长时程游戏中，结合了拍卖、隐藏报价交易挑战（TC）、议价、虚张声势、对手建模和资源分配。与先前孤立地测试这些能力的智能体基准不同，Cattle Trade评估了智能体是否能在具有冲突激励的竞争性多智能体经济游戏中整合这些能力。该基准记录了每次投标、TC报价、还价和卡牌选择，从而能够进行超越最终得分或胜率的行为分析。作者评估了七个具有成本效益的语言模型和三个确定性代码智能体，共进行了242场游戏。战略一致性，特别是支出效率、资源纪律和阶段自适应投标，与排名的相关性高于支出量或任何单一子技能。两个启发式代码智能体的表现优于大多数经过测试的LLM，并且行为轨迹揭示了反复出现的LLM失败模式，包括过度投标、自我投标、破产TC发起和弱对手状态适应。评估智能体能力需要测试在具有冲突激励、不确定性和经济动态的多智能体环境中联合部署多种能力的基准。

🔬 方法详解

问题定义：现有智能体基准测试通常侧重于孤立地评估LLM的特定能力，例如拍卖、议价或资源分配。然而，在现实世界中，这些能力通常需要整合起来才能解决复杂的问题。因此，需要一个能够综合评估LLM在多智能体、不完全信息和资源约束下进行战略推理能力的基准。现有方法的痛点在于无法模拟真实世界中复杂且动态的交互环境。

核心思路：Cattle Trade的核心思路是创建一个模拟经济游戏，其中多个智能体竞争资源，并通过拍卖、议价等方式进行交易。智能体需要在不完全信息下做出决策，并考虑到其他智能体的行为。通过观察智能体在游戏中的行为，可以评估其战略推理能力、博弈能力和资源管理能力。

技术框架：Cattle Trade游戏包含以下主要模块：1) 拍卖：智能体通过竞标来获取资源。2) 交易挑战（TC）：智能体可以向其他智能体发起交易，进行议价。3) 资源分配：智能体需要合理分配资源，以最大化自身利益。4) 对手建模：智能体需要根据其他智能体的行为来调整自己的策略。游戏持续50-60轮，记录每次投标、TC报价、还价和卡牌选择。

关键创新：Cattle Trade的关键创新在于它将多种博弈元素（拍卖、议价、资源管理）整合到一个统一的框架中，从而能够评估LLM的综合策略推理能力。与现有方法相比，Cattle Trade更接近真实世界的复杂交互环境。此外，该基准还提供了详细的行为日志，可以进行更深入的行为分析。

关键设计：Cattle Trade的关键设计包括：1) 资源类型和数量的设置，影响智能体的资源分配策略。2) 拍卖规则的设计，影响智能体的竞标策略。3) 交易挑战的规则设计，影响智能体的议价策略。4) 奖励函数的设计，影响智能体的目标和行为。此外，还设计了不同的对手模型，用于评估智能体对其他智能体行为的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，战略一致性（包括支出效率、资源纪律和阶段自适应投标）与智能体的排名更相关，而不仅仅是支出量。两个启发式代码智能体的表现优于大多数经过测试的LLM。行为轨迹分析揭示了LLM的常见失败模式，如过度投标、自我投标、破产TC发起和弱对手状态适应。这些发现为改进LLM的博弈能力提供了重要的指导。

🎯 应用场景

Cattle Trade基准可用于评估和改进LLM在经济建模、谈判策略、供应链管理、智能交通系统等领域的应用。通过在该基准上训练和评估LLM，可以提高其在复杂、动态环境下的决策能力和博弈能力，从而实现更高效、更智能的自动化系统。

📄 摘要（原文）

We introduce \textsc{Cattle Trade, a multi-agent benchmark for evaluating large language models (LLMs) as agents in strategic reasoning under imperfect information, adversarial interaction, and resource constraints. The benchmark combines auctions, hidden-offer trade challenges (TCs), bargaining, bluffing, opponent modeling, and resource allocation within a single long-horizon game lasting 50--60 turns. Unlike prior agent benchmarks that test these abilities in isolation, \textsc{Cattle Trade} evaluates whether agents integrate them across a competitive, multi-agent economic game with conflicting incentives. The benchmark logs every bid, TC offer, counteroffer, and card selection, enabling behavioural analysis beyond final scores or win rates. We evaluate seven cost-efficient language models and three deterministic code agents across 242 games. Strategic coherence, in particular spending efficiency, resource discipline, and phase-adaptive bidding, is associated with rank more strongly than spending volume or any single subskill. Two heuristic code agents outperform most tested LLMs, and behavioural traces surface recurring LLM failure modes including overbidding, self-bidding, bankrupt TC initiation, and weak opponent-state adaptation. Evaluating agentic competence requires benchmarks that test the joint deployment of multiple capabilities in multi-agent environments with conflicting incentives, uncertainty, and economic dynamics.