FRAM: Trajectory-Guided Visual Feature Selection for Compact Language-Conditioned Robot Manipulation

📄 arXiv: 2609.30965v1 📥 PDF

作者: Hiroshi Ito, Hyogo Hiruma, Yoshiki Kanai, Takahiro Yoshida, Akira Kanazawa, Hiroki Yamada

分类: cs.RO

发布日期: 2026-09-25

💡 一句话要点

提出FRAM以解决机器人操作中的视觉特征选择问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操作 特征选择 轨迹预测 小型模型 高效性 鲁棒性

📋 核心要点

  1. 现有的视觉-语言-动作模型在机器人操作中表现优异，但通常需要大量参数，导致计算负担较重。
  2. 本文提出的FRAM模型通过将未来末端执行器轨迹与当前视觉输入直接关联，优化了视觉特征的选择过程。
  3. FRAM在多个标准测试集上表现出色，成功率接近大型模型，同时参数量显著减少，展示了其高效性和鲁棒性。

📝 摘要（中文）

视觉-语言-动作模型在机器人操作中表现出色，但通常需要大量参数。本文提出了未来表示动作模型（FRAM），该模型明确将未来末端执行器轨迹与当前视觉输入关联。FRAM利用预测轨迹的图像坐标作为空间指针，从当前图像中读取与运动相关的局部视觉特征。这种信息组织方式将动作生成的信息分为参考位置（Where）、视觉状态（What）和未来运动（Future）。轨迹标签通过演示和相机几何自动生成，无需人工标注。FRAM在包含冻结语言编码器的1.387亿参数下，在四个标准LIBERO套件上达到了92.2%的平均成功率，接近3.3亿参数的$π_0$的94.2%。在LIBERO-Plus上，FRAM在没有额外训练的情况下也达到了67.3%的平均成功率。消融实验确认未来轨迹和局部视觉特征均提升了性能和鲁棒性。FRAM在真实的双臂UR5e上，仅使用手腕摄像头完成了堆叠杯子的任务，包括选择和切换左右手臂。这些结果表明，基于未来运动选择视觉信息是一种有效的方法，可以在小型机器人策略中获得高性能和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在机器人操作中对大量参数的依赖问题，导致计算效率低下和实时性不足的挑战。

核心思路：FRAM模型通过将未来末端执行器的轨迹与当前的视觉输入相结合，利用图像坐标作为空间指针来选择相关的视觉特征，从而提高了动作生成的效率和准确性。

技术框架：FRAM的整体架构包括三个主要模块：参考位置（Where）、视觉状态（What）和未来运动（Future）。模型首先通过图像输入预测未来轨迹，然后从当前图像中提取与该轨迹相关的局部视觉特征。

关键创新：FRAM的核心创新在于自动生成轨迹标签的能力，消除了人工标注的需求，同时通过未来轨迹指导视觉特征选择，显著提升了模型的性能和鲁棒性。

关键设计：FRAM的参数设置为1.387亿，包含一个冻结的语言编码器。模型的损失函数设计考虑了轨迹预测的准确性和视觉特征的相关性，确保了高效的训练和推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FRAM在四个标准LIBERO测试集上达到了92.2%的平均成功率，接近3.3亿参数的$π_0$模型的94.2%。在LIBERO-Plus上，FRAM在没有额外训练的情况下也达到了67.3%的平均成功率，展示了其在小型机器人策略中的高效性和鲁棒性。

🎯 应用场景

FRAM模型在机器人操作领域具有广泛的应用潜力，尤其是在需要高效和精准操作的场景，如工业自动化、服务机器人和智能家居等。通过优化视觉特征选择，FRAM能够在资源有限的情况下实现复杂任务的高效执行，未来可能推动更多智能机器人在实际环境中的应用。

📄 摘要（原文）

Vision-Language-Action models achieve strong performance in robot manipulation, but often require large numbers of parameters. In this work, we propose the Future Representation Action Model (FRAM), a small policy that explicitly links the future end-effector trajectory to the current visual input. FRAM uses the image coordinates of the predicted trajectory as spatial pointers and reads local visual features related to the motion from the current image. This organizes the information for action generation into the reference position (Where), the visual state (What), and the future motion (Future). Trajectory labels are generated automatically from demonstrations and camera geometry, so no manual annotation is needed. With 138.7M parameters, including a frozen language encoder, FRAM reaches an average success rate of 92.2% over the four standard LIBERO suites, close to the 94.2% of $π_0$ with 3.3B parameters. Without extra training, it also reaches an average of 67.3% on LIBERO-Plus. Ablations confirm that both the future trajectory and the local visual features improve performance and robustness. On a real dual-arm UR5e, FRAM stacks cups using only wrist cameras, including choosing and switching between the left and right arms. These results show that selecting visual information based on future motion is an effective way to obtain both high performance and robustness in a small robot policy.