System1-Arena: Which Decisions Can Be Left to System 1?

📄 arXiv: 2610.21244v1 📥 PDF

作者: Tianyu Chen, Xinyang Liu, Ruyi An, Zhendong Wang, Mingyuan Zhou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-15

备注: 40 pages. Code: https://github.com/TianyuCodings/S1-Arena ; leaderboard: https://tianyucodings.github.io/S1-Arena ; dataset: https://huggingface.co/datasets/C-Tianyu/S1-Arena

💡 一句话要点

提出System1-Arena基准以评估决策模型的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 决策模型 基准测试 系统1与系统2 闭环环境 大型语言模型

📋 核心要点

  1. 现有的决策模型在处理复杂决策时存在局限性，尤其是在需要生成推理的情况下。
  2. 论文提出了System1-Arena基准，通过统一的决策请求评估不同模型的概率输出，涵盖多种任务和环境。
  3. 实验结果表明，最大的System-1模型在非代理精度上表现优异，且延迟显著低于传统的推理模型。

📝 摘要（中文）

大型语言模型（LLMs）经常需要做出离散决策，例如标记网络钓鱼或升级到人工处理。本文提出了System1-Arena，一个基准测试，旨在评估不同模型在相同决策请求下的表现。该基准包含92,000个问题，涵盖105个任务，分为文本分类、应用决策、评估与控制以及代理与行动四个组别。此外，System1-Arena还包括138个闭环环境，模型在实时模式下进行决策时，世界会随之演变。实验评估了30个模型，结果显示，最大的System-1模型在非代理精度上与快速的闭合LLM相当或更优，且在延迟上仅为其四分之一。

🔬 方法详解

问题定义：本文旨在解决现有决策模型在处理复杂决策时的不足，尤其是哪些决策可以由System-1模型处理，哪些需要生成推理。

核心思路：通过引入System1-Arena基准，提供统一的决策请求，评估不同模型的表现，帮助识别System-1模型的适用场景。

技术框架：System1-Arena包含92,000个问题，分为四个任务组，并在138个闭环环境中进行实时决策评估。模型的决策过程与环境的演变相结合，形成闭环反馈。

关键创新：最重要的创新在于System1-Arena基准的设计，使得不同模型在相同条件下进行公平比较，揭示了System-1模型的潜力与局限。

关键设计：在实验中，评估了30个模型，包括7个闭合LLM和10个System-1模型，采用了标准化的概率评分机制，确保结果的可比性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，最大的System-1模型在非代理精度上与快速闭合LLM相当或更优，且在延迟上仅为其四分之一。此外，开放LLM在闭环环境中的成功率最高可达32.9%，而小型System-1模型的成功率则较低。

🎯 应用场景

该研究的潜在应用领域包括自动化决策系统、智能助手和机器人控制等。通过明确哪些决策可以由快速模型处理，哪些需要复杂推理，能够优化系统性能，提高决策效率，降低计算成本。

📄 摘要（原文）

Large language models (LLMs) often make discrete decisions, such as flagging phishing or escalating to a human. System-1 models, such as Jev and the OpenAI Decisions API, return probabilities over options in a single forward pass, while System-2 approaches generate reasoning steps. Which decisions can System-1 models handle, and which require generative reasoning? We introduce System1-Arena, a benchmark that gives all models the same decision requests and scores their probabilities. It contains 92k questions across 105 tasks from 268 public sources, in four groups: text classification and knowledge, applied decisions, evaluation and control, and agent and action. It also includes 138 closed-loop environments, from web shopping and SWE-bench coding control to robotics, games, and driving; in real-time mode, the world evolves while a model decides. We evaluate 30 models: 7 closed LLMs, 13 open LLMs read at the answer token, and 10 System-1 models. The largest System-1 models match or exceed fast closed LLMs in non-agentic accuracy, with better-calibrated probabilities at one-quarter of the latency. A reasoning LLM is the most accurate, at about 70x the cost of a fast LLM. In closed loops, large open LLMs succeed most often (up to 32.9%); small System-1 models rarely succeed.