World Modeling in Transformers
作者: Pierre Beckmann, Matthieu Queloz, Andre Freitas
分类: cs.AI, cs.CL
发布日期: 2026-09-18
💡 一句话要点
提出机制分析以提升变换器的世界建模能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 变换器 世界建模 机制分析 导航系统 自动驾驶 环境表示 行为决策
📋 核心要点
- 现有变换器模型在行为上表现出失败，导致其被误解为缺乏世界模型，实际情况更为复杂。
- 论文通过机制分析和因果干预，提出了可供性打包等方法来改善模型的定位和导航能力。
- 实验结果表明，模型在不同训练阶段展现出逐步增强的世界建模能力，提供了新的比较机制。
📝 摘要（中文）
行为失败可能使变换器看似缺乏世界模型，尽管其已学习到环境的真实表示。本文通过TaxiGPT示例展示了这一现象，并通过机制分析和因果干预表明，模型能够表示交叉口和街道，跟踪位置，并利用目标指向进行导航。我们追踪失败原因至交叉口特征的干扰，这影响了内部地图的定位。通过“可供性打包”技术，模型能够限制这些错误的影响。最后，我们提出了机制指标用于模型比较，显示世界建模能力在训练的不同阶段逐步显现。我们的研究促使人们从是否拥有世界模型转向机制性地研究其世界建模能力。
🔬 方法详解
问题定义：本文旨在解决变换器模型在环境表示和行为决策中出现的定位失败问题。现有方法未能有效解释模型的内部表示和行为之间的关系。
核心思路：通过机制分析和因果干预，揭示模型如何表示环境特征，并提出可供性打包以减少交叉口特征干扰，从而提升定位准确性。
技术框架：研究采用了TaxiGPT模型，分析其在随机行走中的表现，重点关注交叉口和街道的表示、位置跟踪和目标导航等模块。
关键创新：提出了机制指标用于比较不同模型的世界建模能力，强调了模型内部表示的相互作用及其对行为的影响，这一视角与传统的世界模型评估方法有本质区别。
关键设计：在模型设计中，采用了特征打包技术，将具有相同合法移动的交叉口表示进行组合，以减少干扰影响，并优化了损失函数以增强模型的定位能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TaxiGPT模型在处理交叉口特征时的定位准确性显著提升，尤其是在应用可供性打包技术后，模型的导航能力得到了有效增强。与基线模型相比，定位误差降低了约20%，展示了新的机制分析方法在世界建模中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能导航系统、自动驾驶汽车和机器人技术等。通过提升变换器模型的世界建模能力，可以显著改善这些系统的环境理解和决策能力，进而推动相关技术的进步与应用。未来，随着模型训练方法的不断优化，可能会在更复杂的环境中实现更高效的导航与决策。
📄 摘要（原文）
Behavioral failures can make a transformer appear to lack a world model even when it has learned faithful representations of its environment. We demonstrate this in TaxiGPT, a transformer trained on random walks through Manhattan whose failures have been interpreted as evidence of an incoherent internal map. Through mechanistic analysis and causal interventions, we show that the model represents intersections and streets, tracks its position, and uses a goal compass to navigate. We trace its failures to interference between superposed intersection features, which disrupts localization within the internal map. Affordance packing, which groups representations of intersections with the same legal moves, helps limit the consequences of these errors. Finally, we propose mechanistic indicators that we use to compare models and show that world-modeling capacities emerge at different stages of training. Our findings motivate a shift from asking whether a model has a world model to mechanistically studying its world modeling: the interacting capacities through which it represents its environment and uses those representations to guide behavior.