$Ψ$-0.6: Adaptive Streams of Thought in a Unified Vision-Language World Model

📄 arXiv: 2610.32177v1 📥 PDF

作者: Khai Loong Aw, Klemen Kotar, Baihan Zhang, Yifan Liu, Lilian Chen, Atlas Kazemian, Rahul Venkatesh, Daniel Yamins

分类: cs.AI, cs.CV, cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出$Ψ$-0.6以解决多模态推理的灵活性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态推理 视觉-语言模型 自适应推理 几何表示 强化学习

📋 核心要点

  1. 现有的AI模型在推理能力上往往分散，缺乏灵活组合不同推理形式的能力，限制了任务适应性。
  2. 本文提出的$Ψ$-0.6模型通过自适应组合视觉、语言、几何和仿真，形成共享的推理过程，称为思维流。
  3. $Ψ$-0.6在多视角空间推理中超越了领先的开放权重模型，并通过强化学习优化中间表示的使用，提升了视觉问答的准确性。

📝 摘要（中文）

人类在推理物理世界时，能够灵活地结合不同形式的推理。实现这种灵活性是人工智能领域的一大挑战。本文提出$Ψ$-0.6，一个统一的视觉-语言世界模型，能够在共享推理过程中自适应地组合感知、语言、几何和仿真。该模型通过共享的标记接口生成和解释图像、文本以及几何和运动的显式表示，超越了现有的开放权重模型，在多视角空间推理中表现优异，并支持反事实仿真。通过任务反馈的强化学习，优化中间表示的选择、生成和使用，提高了视觉问答的准确性，并在未见基准上也取得了提升。$Ψ$-0.6为自适应物理推理提供了一条新路径。

🔬 方法详解

问题定义：本文旨在解决现有AI模型在推理能力上的分散性和灵活性不足的问题。现有方法往往在不同的专用模型之间隔离，限制了它们的组合和适应能力。

核心思路：$Ψ$-0.6通过自适应组合感知、语言、几何和仿真，形成一个统一的推理框架，允许模型在推理过程中灵活地使用不同的表示形式。

技术框架：该模型的整体架构包括多个模块，主要包括图像处理、文本理解、几何表示和运动仿真。所有模块通过共享的标记接口进行交互，形成一个统一的推理过程。

关键创新：$Ψ$-0.6的核心创新在于其“思维流”机制，允许模型在推理过程中动态选择和生成中间表示，与现有方法相比，这种设计显著提升了推理的灵活性和准确性。

关键设计：模型采用了强化学习策略，通过任务反馈优化中间表示的选择和生成，损失函数设计上注重对不同推理形式的平衡，网络结构则支持多模态输入的处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$Ψ$-0.6在多视角空间推理任务中实现了零-shot超越领先模型的表现，特别是在通过几何中介进行推理时，表现出显著的性能提升。此外，视觉问答的准确性在未见基准上也得到了提升，展示了模型的广泛适应性。

🎯 应用场景

$Ψ$-0.6模型在机器人、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升模型在复杂环境中的推理能力，可以实现更智能的交互和决策支持，推动物理推理的自适应发展。

📄 摘要（原文）

Humans reason about the physical world by flexibly combining different forms of inference as a problem unfolds. Achieving this flexibility is a major open challenge in AI: capabilities often remain separated across specialized models, limiting how they can be composed and jointly adapted to a task. We introduce $Ψ$-0.6, a unified vision-language world model that adaptively composes perception, language, geometry, and simulation within a shared reasoning process we call streams of thought. These streams interleave images, text, and explicit representations of geometry and motion, all of which the model can generate and interpret through a shared token interface. $Ψ$-0.6 surpasses leading open-weight models zero-shot on multi-view spatial reasoning, with further gains from reasoning through geometric intermediates. It also supports counterfactual simulation: generating and interpreting imagined scenes to determine, for example, whether moving an object would obstruct a pathway. Reinforcement learning from task feedback jointly optimizes the selection, generation, and use of intermediate representations, improving visual question-answering accuracy with gains that transfer to unseen benchmarks. $Ψ$-0.6 offers a path toward adaptive physical reasoning -- not only predicting the physical world but also choosing the representations through which to reason.