Do Coding Agents Need Executable World Models, Simplification, and Verification to Solve ARC-AGI-3?
作者: Sergey Rodionov
分类: cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出多种编码代理以解决ARC-AGI-3性能归因问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 编码代理 可执行世界模型 推理能力 性能验证 ARC-AGI-3 机器学习 人工智能
📋 核心要点
- 现有的ARC-AGI-3代理在性能归因上存在不明确性，难以判断哪些设计因素对性能提升起到关键作用。
- 论文提出了四种不同的Codex基础代理，分别测试可执行世界模型、简化和验证的影响，以评估其对性能的贡献。
- 实验结果表明，所有代理在更强模型和更高推理努力下均有提升，验证处理在资源消耗上虽高但性能最佳。
📝 摘要（中文）
本研究探讨了在ARC-AGI-3任务中，编码代理是否需要可执行的世界模型、简化和验证来提升性能。通过四种基于Codex的代理进行比较，研究发现每种代理在更强大的模型和更高的推理努力下均有提升。尽管不同代理间的性能差异小于预期，但个别组件的效果在不同设置中有所不同。文本变体在某些情况下优于灵活接口的可执行变体，而完整的验证处理在所有设置中表现最佳，尽管资源消耗较大。后续实验显示，验证变体在推理努力下完全解决了所有公共游戏，且使用的动作数不到人类基线的一半。
🔬 方法详解
问题定义：本研究旨在明确在ARC-AGI-3任务中，编码代理的可执行世界模型、简化和验证对性能的具体贡献。现有方法未能清晰区分这些因素的影响，导致性能提升的归因不明确。
核心思路：论文通过构建四种不同的Codex基础代理，分别为文本基线、灵活接口的可执行模型、带简化的可执行模型以及固定接口的验证处理，来系统性地评估各个设计的性能表现。
技术框架：整体架构包括四个代理模型的设计与比较，使用gpt-5.4和gpt-5.5进行高和超高推理努力的评估，后续还使用gpt-5.6-sol进行探索性跟进。主要模块包括模型构建、性能评估和结果分析。
关键创新：最重要的创新在于通过对比不同设计的代理，揭示了可执行模型和验证处理的相对效用，尤其是文本变体在某些设置中超越了灵活接口的可执行变体。
关键设计：在设计中，灵活接口和固定接口的选择影响了模型的表现，验证处理虽然资源消耗较大，但在所有设置中均表现最佳。具体参数设置和损失函数的选择未在摘要中详细说明，需进一步查阅原文。
📊 实验亮点
实验结果显示，所有代理在更强大的模型和更高的推理努力下均有显著提升。完整的验证处理在所有四个设置中排名第一，尽管其资源消耗显著高于其他变体。在gpt-5.6-sol的后续实验中，验证变体成功解决了所有公共游戏，且使用的动作数不到人类基线的一半，显示出其高效性。
🎯 应用场景
该研究的结果对人工智能代理的设计具有重要意义，尤其是在需要高效解决复杂任务的场景中。通过明确不同设计元素的贡献，可以为未来的智能体开发提供指导，提升其在实际应用中的表现，如游戏、自动化决策和机器人控制等领域。
📄 摘要（原文）
Our previous ARC-AGI-3 agent bundled executable world modeling, scheduled simplification, and exact replay verification, leaving unclear which idea accounted for its performance. We address this attribution question with four nested Codex-based agents: a textual baseline; a flexible-interface executable world model without replay verification; the same executable model with scheduled simplification; and a fixed-interface verification treatment that retains simplification and requires exact reproduction of recorded observations. The main study evaluates all four agents with gpt-5.4 and gpt-5.5 at high and xhigh reasoning effort on the public ARC-AGI-3 games. Exploratory follow-ups evaluate the textual and verification variants with gpt-5.6-sol at xhigh and max. The most robust result is that every agent variant improves with a stronger model and with greater reasoning effort. Within each model-effort setting, differences among variants are smaller than anticipated, while the effects of individual components vary across settings. Requiring a persistent executable deliverable is not universally beneficial: the textual variant outperforms the flexible-interface executable variant in both gpt-5.5 settings. Simplification improves performance in three of the four model-effort settings, with the weakest setting as the only exception. The complete verification treatment ranks first in all four settings, although it uses substantially more resources. In the gpt-5.6-sol follow-up, the verification variant fully solves every public game at both reasoning efforts, achieves about 99% RHAE, and uses fewer than half the total actions of the human baseline. Because the model postdates these games and held-out performance remains untested, this result should be interpreted as saturation of the public set only.