Language Models as AI Research World Models

📄 arXiv: 2610.12235v1 📥 PDF

作者: Zijun Wang, Zewen Liu, Minhua Lin, Zhaotian Weng, Zhan Shi, Bing He, Yisi Sang, Dakuo Wang, Benoit Dumoulin, Wei Jin, Yuyin Zhou, Cihang Xie, Hanqing Lu

分类: cs.CL

发布日期: 2026-10-08

💡 一句话要点

提出语言模型作为研究世界模型以提升实验预测能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 研究世界模型 实验预测 自我改进 自动化实验设计 跨环境知识

📋 核心要点

  1. 现有AI研究代理在实验提出与执行能力之间存在不平衡，导致结果预测能力不足。
  2. 本文提出将语言模型作为研究世界模型（RWM），用于预测不同研究环境中的实验结果。
  3. 实验结果显示，利用真实实验经验的RWM在未见干预的预测上提升了27%，并在多轮自研究中实现了15.8%的增益。

📝 摘要（中文）

AI研究代理自动化提出、实施和评估实验的循环，然而其提出实验的能力超出在真实环境中执行的能力，使得结果预测成为在有限实验预算下持续自我改进的关键能力。本文研究了语言模型作为研究世界模型（RWM），用于预测候选干预在研究环境中的结果。通过对2600多个实验记录的评估，发现真实实验经验所获得的研究知识能显著改善RWM对未见干预的预测，且可在不同环境间重用。这些发现支持将语言模型视为RWM，并激励未来积累实验数据以进行RWM训练。

🔬 方法详解

问题定义：本文旨在解决AI研究代理在实验提出与执行间的能力不匹配问题，尤其是在有限实验预算下的结果预测能力不足。

核心思路：通过将语言模型应用于研究世界模型（RWM），利用其预测能力来评估候选干预的结果，从而提升实验的有效性和效率。

技术框架：整体架构包括数据收集、模型训练和结果评估三个主要阶段。首先收集来自不同研究环境的实验记录，然后训练RWM以预测干预结果，最后评估其在新环境中的表现。

关键创新：最重要的创新在于将语言模型转化为RWM，通过真实实验经验的积累来提升模型的预测能力，这一方法与传统的实验设计方法有本质区别。

关键设计：在模型训练中，采用了多种语言模型进行对比实验，并通过引入真实实验知识来优化干预排名，关键参数设置和损失函数设计也经过精心调整以提高模型性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，利用真实实验经验的RWM在Qwen3环境中将选择后悔降低了78%，并在多轮自研究中，基于环境内和跨环境的研究知识，分别实现了15.8%和11.6%的增益。这些结果表明，语言模型作为RWM的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动化实验设计、科学研究优化和AI模型的自我改进。通过提升实验结果预测能力，研究人员可以更有效地利用资源，快速迭代实验，推动科学发现和技术进步。未来，该方法可能在多学科研究中发挥重要作用。

📄 摘要（原文）

AI research agents automate the cycle of proposing, implementing, and evaluating experiments, opening a path toward recursive self-improvement. Yet their ability to propose experiments outpaces their capacity to execute them in real environments, making outcome prediction a key capability for sustained self-improvement under limited experimental budgets. We investigate language models as Research World Models (RWMs), which predict the outcomes of candidate interventions across research environments. Our evaluation draws on over 2,600 experimental records from nine research environments spanning pretraining, post-training, and inference, representing more than 171,000 H100 GPU-hours of experimentation. Research knowledge acquired from real experimental experience improves RWM predictions of unseen interventions within the same environment (Spearman +0.27), and can be reused across environments. For example, using only pretraining experience from OLMo3, Marin, and Nanochat, an RWM reduces selection regret in the Qwen3 environment by 78% compared with zero-experience setting. These benefits extend to multi-round Autoresearch under a fixed selection budget: RWMs with in-env and cross-env research knowledge increase the best gain achieved by 15.8% and 11.6%, respectively. Ablations across 13 language models used as RWMs show that adding research knowledge can improve intervention ranking more than changing models or increasing reasoning effort alone. These findings support language models as RWMs and motivate accumulating experimental data for future RWM training.