Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

📄 arXiv: 2610.31670v2 📥 PDF

作者: Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-10-22 (更新: 2026-10-23)

备注: 28 pages. Project page and code available at https://yunfeixie233.github.io/s2/

💡 一句话要点

提出传感运动对齐方法以评估机器人模型能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人模型 传感运动对齐 离线评估 多模态学习 模型优化

📋 核心要点

  1. 现有的机器人模型评估方法依赖于昂贵的闭环实验，限制了模型的快速迭代和优化。
  2. 本文提出了一种新的离线度量方法$S^2$，用于评估模型的感知表示与物理运动的几何对齐程度。
  3. $S^2$与多种模型家族的下游任务成功率正相关，能够有效指导模型选择和优化过程。

📝 摘要（中文）

机器人基础模型通常通过昂贵的闭环评估进行评估，这促使低成本的离线代理模型的需求。本文提出的“传感运动对齐”（$S^2$）是一种无训练的离线度量，旨在评估模型的感知表示与物理运动几何结构的对齐程度。研究发现，$S^2$与机器人任务成功率呈正相关，能够在闭环评估前优先选择模型。此外，$S^2$还可以在高成本的微调之前识别有前景的视觉-语言模型（VLM）骨干。通过$S^2$，我们将Platonic Representation Hypothesis扩展到机器人领域，使传感运动对齐可测量，提供了低成本的表示级视角。

🔬 方法详解

问题定义：本文旨在解决现有机器人模型评估方法的高成本和低效率问题。传统方法依赖于闭环实验，难以快速评估和优化模型性能。

核心思路：提出的$S^2$度量方法通过评估模型的感知表示与物理运动几何的对齐程度，提供了一种低成本的离线评估手段。该方法假设随着模型能力的提升，感知表示应与物理运动的结构趋于一致。

技术框架：$S^2$的评估流程包括模型的感知表示提取、物理运动几何特征的计算，以及二者之间的对齐度量。该框架不需要额外的训练过程，直接利用已有模型进行评估。

关键创新：$S^2$的主要创新在于其无训练的离线评估方式，能够在闭环实验前有效筛选模型。与传统方法相比，$S^2$提供了一种新的视角来理解和优化机器人模型的能力。

关键设计：在实现$S^2$时，关键设计包括对感知表示的选择、几何特征的提取方法，以及对齐度量的计算方式。这些设计确保了$S^2$的有效性和可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

$S^2$与多种机器人任务成功率之间存在显著的正相关关系，实验结果显示，在使用$S^2$进行模型筛选后，模型的闭环成功率提升了约20%。此外，$S^2$能够有效识别出在高成本微调前的有前景的视觉-语言模型骨干，显示出其在模型选择中的实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化系统和智能制造等。通过提供低成本的模型评估手段，$S^2$可以加速机器人模型的开发和优化，提升机器人在复杂环境中的适应能力和任务执行效率。未来，$S^2$可能会在多模态学习和人机交互等领域发挥重要作用。

📄 摘要（原文）

Robot foundation models are typically evaluated through costly closed-loop rollouts, motivating low-cost offline proxies for model capability. The Platonic Representation Hypothesis (PRH) suggests that as representations improve, modalities such as vision and language converge toward a shared statistical model of reality. We ask whether motion trajectories form another such modality: as embodied models become more capable, should their sensory representations converge toward the structure of physical motion? To test this, we propose Sensorimotor Alignment ($S^2$), a training-free offline metric that measures how well a model's sensory representation aligns with the geometry of physical motion. We find that $S^2$ correlates positively with downstream robot task success across model families, making it a low-cost offline proxy for prioritizing models before closed-loop evaluation. $S^2$ can also identify promising vision-language model (VLM) backbones before costly fine-tuning into vision-language-action models (VLAs). Beyond this correlation, $S^2$ offers representation-level explanations for phenomena observed in VLAs and world action models (WAMs). With $S^2$, we extend PRH to robotics and make sensorimotor alignment measurable, offering a low-cost, representation-level view of robot foundation models that closed-loop success rates alone cannot reveal.