CALIPER: Clean Scenes Cannot Rank Physical Inference in Pretrained Visual Representations

📄 arXiv: 2609.08250v1 📥 PDF

作者: Aman Mehta, Riya Baviskar

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-09-08

💡 一句话要点

提出CALIPER以解决物理推理评估中的不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物理推理 预训练模型 视觉编码器 模型评估 机器人操作 自动驾驶 增强现实

📋 核心要点

  1. 现有的物理推理评估方法在干净固定场景中无法有效区分不同编码器的物理推理能力。
  2. CALIPER方法通过校准和预测的方式，直接测试物体在不同条件下的滑动距离，提供更真实的评估。
  3. 在2000个模拟实验中，校准显著提升了模型的预测能力，且不同场景下表现差异明显，验证了评估基准的有效性。

📝 摘要（中文）

本文探讨了在干净固定摄像头场景中，预训练视觉编码器的物理推理能力评估的局限性。CALIPER（校准后预测）是一种直接测试方法，通过对未知质量和摩擦的物体进行两次已知速度的撞击，评估其滑动距离。实验结果显示，校准能够显著提高模型的预测能力，而在干净场景中，所有表示的性能接近真实模拟器状态的上限。通过改变摄像头、光照和杂乱程度，模型的表现差异显著，验证了评估基准的有效性。

🔬 方法详解

问题定义：本文旨在解决在干净固定摄像头场景中，预训练视觉编码器的物理推理能力评估无法有效区分不同模型的问题。现有方法依赖于线性探测和扰动基准，未能真实反映模型的物理推理能力。

核心思路：CALIPER方法通过校准和预测的方式，直接测试物体在不同条件下的滑动距离。通过对未知质量和摩擦的物体进行多次撞击，评估其滑动距离，从而更准确地评估模型的物理推理能力。

技术框架：整体流程包括：首先进行物体的校准，接着进行多次撞击以获取滑动距离，最后通过线性读出对滑动距离进行预测。该方法涉及多个阶段，包括数据采集、特征提取和模型评估。

关键创新：最重要的技术创新在于通过校准和预测的直接测试方法，能够有效区分物理推理能力强弱的编码器，而不是依赖于固定场景的表现。

关键设计：在实验中，采用了多种表示形式，包括V-JEPA 2和随机初始化的ViT，设置了不同的摄像头、光照和杂乱程度，以确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，校准方法在2000个模拟实验中提升了模型的R^2值0.50，而在干净场景中所有表示的性能接近真实模拟器状态的上限。通过改变摄像头和环境设置，模型的表现差异显著，验证了评估基准的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和增强现实等，能够帮助提升机器对物理环境的理解和互动能力。通过改进物理推理能力的评估方法，未来可以推动更智能的自动化系统的发展。

📄 摘要（原文）

How far a pushed object slides depends on its mass and friction, which no single image reveals. Pretrained visual encoders are increasingly used as the perception front end of world models for manipulation, and their physical competence is assessed with perturbation benchmarks and linear probes, almost always in a clean, fixed-camera scene. We show that these assessments cannot distinguish an encoder that infers physics from one that does not. CALIPER (calibrate, then predict) is a direct test: an object of unknown mass and friction is struck twice at known speeds, a third strike is shown only up to the moment of contact, and a linear readout on frozen features must predict how far the object slides. Swapping in another object's calibration clips checks that the evidence is actually used. Across 2,000 simulated episodes and eight representations, from V-JEPA 2 to a randomly initialised ViT and raw pixels, calibration adds +0.50 R^2 and the swap removes it. Yet in the clean scene every representation lands within 0.02 R^2 of the ceiling set by true simulator state, because a fixed camera exposes the object's displacement directly in pixel coordinates. Resampling camera, lighting, and clutter for every clip spreads the same representations across 0.50 R^2; when the readout chooses a push speed for a goal distance, V-JEPA 2 misses by 4 mm and the random ViT by 20 mm, no better than ignoring the object. Linear probes track none of this: a change in frame aggregation moves a probe more than pretraining does, and erasing the probed mass direction from the same representation costs nothing in one scene and 0.35 R^2 in the other. Whether a benchmark can rank models is an empirical property, and we give three checks that establish it.