Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

📄 arXiv: 2610.31670v1 📥 PDF

作者: Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-10-22

备注: 28 pages. Project page and code available at https://yunfeixie233.github.io/s2/

💡 一句话要点

提出传感运动对齐方法以评估机器人模型能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人模型评估 传感运动对齐 离线代理 视觉-语言模型 物理运动几何

📋 核心要点

  1. 现有的机器人模型评估方法依赖于昂贵的闭环测试，导致评估成本高昂且效率低下。
  2. 本文提出的传感运动对齐（$S^2$）是一种训练无关的离线指标，旨在评估模型的感知表示与物理运动的几何结构的对齐程度。
  3. $S^2$与机器人任务成功率呈正相关，能够有效识别出有潜力的视觉-语言模型，降低了模型评估的成本。

📝 摘要（中文）

机器人基础模型通常通过昂贵的闭环评估进行评估，这促使了便宜的离线代理模型的需求。本文提出了传感运动对齐（$S^2$）这一训练无关的离线指标，用于衡量模型的感知表示与物理运动几何结构的对齐程度。研究发现，$S^2$与机器人任务成功率呈正相关，成为在闭环评估之前优先选择模型的低成本代理。此外，$S^2$能够在昂贵的微调之前识别出有前景的视觉-语言模型（VLM）骨干。$S^2$不仅提供了对VLA和世界动作模型（WAM）现象的表征级解释，还扩展了Platonic Representation Hypothesis（PRH）至具身模型，使得传感运动对齐可被实证测量，从而深入理解具身模型成功的原因。

🔬 方法详解

问题定义：本文旨在解决现有机器人模型评估方法的高成本和低效率问题，尤其是在闭环测试中。现有方法往往需要大量的资源和时间，限制了模型的快速迭代和优化。

核心思路：提出传感运动对齐（$S^2$）作为一种低成本的离线评估指标，旨在通过测量模型的感知表示与物理运动几何结构的对齐程度，来预测模型在实际任务中的表现。

技术框架：$S^2$的评估过程包括数据收集、感知表示提取和几何对齐度量三个主要模块。首先收集模型的感知数据，然后提取其表示，最后通过几何方法评估其与物理运动的对齐程度。

关键创新：$S^2$的提出是本研究的核心创新，它不仅提供了一种新的评估方式，还扩展了Platonic Representation Hypothesis（PRH），使得具身模型的传感运动对齐可以被实证测量。

关键设计：在设计$S^2$时，关键参数包括感知表示的选择和几何对齐的度量方法，具体的损失函数和网络结构设计尚未详细说明，可能需要进一步的研究来优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，$S^2$与不同具身模型的任务成功率之间存在显著的正相关关系，能够有效预测模型在实际应用中的表现。此外，$S^2$在识别有前景的视觉-语言模型方面表现出色，降低了微调成本，提升了模型选择的效率。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等。通过提供低成本的模型评估方法，能够加速机器人模型的开发与优化，提高其在复杂环境中的适应能力和任务成功率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Robotic foundation models are typically evaluated through costly closed-loop rollouts, which motivates cheap offline proxies for model capability. The Platonic Representation Hypothesis (PRH) suggests that as representations improve, different modalities such as vision and language converge toward a shared statistical model of reality. We ask whether motion trajectories form another such modality: as embodied models become more capable, should their sensory representations converge toward the structure of physical motion? To examine this, we propose Sensorimotor Alignment ($S^2$), a training-free offline metric that measures how well a model's sensory representation aligns with the geometry of physical motion. We find that $S^2$ correlates positively with downstream robot task success across embodied model families, making it a low-cost offline proxy for prioritizing models before closed-loop evaluation. $S^2$ can also identify promising vision-language model (VLM) backbones even before costly fine-tuning into vision-language-action models (VLAs). Beyond this correlation, $S^2$ offers representation-level explanations for phenomena observed in VLAs and world action models (WAMs). With $S^2$, we extend PRH to embodied models and make sensorimotor alignment empirically measurable, offering insight into why an embodied model succeeds beyond its closed-loop success rate.