AnyviewMeter: Adapting Robotic Reward Models with Camera Geometry and Multi-View Attention
作者: Yuang Tu, Runjia Tan, Yujie Yan, Jinghan Hu, Chen Lv
分类: cs.CV
发布日期: 2026-09-17
备注: 8 pages, 3 figures, 5 tables
💡 一句话要点
提出AnyviewMeter以解决机器人奖励模型视角适应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人奖励模型 相机几何 多视图注意力 任务适应 低秩微调
📋 核心要点
- 现有的机器人奖励模型在不同相机视角下的预测不稳定，导致任务执行评估的准确性下降。
- AnyviewMeter框架通过结合相机几何信息与视觉特征，采用低秩微调和同步块注意力来适应预训练的奖励模型。
- 在PickCube任务中，单视图适应使得进展预测在每个相机组中都有所改善，平均绝对误差降低约21%。
📝 摘要（中文）
机器人奖励模型通过视觉观察评估任务执行，但其预测会因相机视角和遮挡而变化，即使任务状态未变。因此，适应预训练的奖励模型需要考虑任务的观察方式。本文提出了AnyviewMeter，一个几何条件适应框架，通过低秩微调、与Plucker光线对齐的标记和同步块注意力相结合，来表示任务进展的标量奖励信号。该框架支持单视图奖励预测和联合多视图评估，显著提高了任务进展预测的准确性。
🔬 方法详解
问题定义：本文解决的问题是机器人奖励模型在不同相机视角下预测不稳定的问题。现有方法未能有效考虑相机几何和遮挡对任务观察的影响，导致评估准确性下降。
核心思路：论文提出的AnyviewMeter框架通过几何条件适应来改进奖励模型，结合低秩微调与Plucker光线的标记对齐，利用同步块注意力来整合多视图信息，从而提高任务进展的预测准确性。
技术框架：该框架的整体架构包括三个主要模块：1) 低秩微调模块，调整预训练模型以适应特定任务；2) Plucker光线标记模块，将相机几何信息融入视觉特征；3) 同步块注意力模块，融合多个视图的信息以增强预测能力。
关键创新：最重要的技术创新在于将相机几何信息与视觉特征和注意力机制相结合，形成了一种新的适应方法，显著提高了多视图任务的评估准确性，与传统的单视图方法相比具有本质区别。
关键设计：在参数设置上，采用低秩微调策略以减少计算开销，损失函数设计上注重于奖励信号的准确性，网络结构上则通过引入同步块注意力机制来增强多视图信息的融合能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在PickCube任务中，单视图适应使得进展预测在每个相机组中都有所改善，平均绝对误差降低约21%。在模拟操作任务中，联合多视图预测相比于单视图RGB预测，进展误差降低41-69%，并且在约88%的任务-相机组中改善了时间排序。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶和智能监控等场景，能够有效提升机器人在复杂环境中的任务执行能力。通过更准确的奖励模型，机器人可以更好地适应动态变化的环境，提高自主决策的效率和准确性，未来可能对智能机器人技术的发展产生深远影响。
📄 摘要（原文）
Robotic reward models evaluate task execution from visual observations, but their predictions can change with camera viewpoint and occlusion even when the underlying task state is unchanged. Adapting a pretrained reward model to a local task therefore requires accounting for how that task is observed. We introduce AnyviewMeter, a geometry-conditioned adaptation framework for robotic reward models that represent task progress as a scalar reward signal. It combines low-rank fine-tuning with token-aligned Plucker rays and synchronous block attention: ray conditioning incorporates camera geometry into visual features and attention queries and keys, while block attention fuses synchronized views inside the pretrained decoder. The framework supports both single-view reward prediction and joint multi-view evaluation through parameter-efficient adaptation of a pretrained Robometer model. On PickCube, single-view adaptation improves progress prediction in every camera group and reduces mean absolute error under a changed field of view by approximately 21% relative to RGB fine-tuning. Across simulated manipulation tasks, joint multi-view prediction reduces progress error by 41-69% compared with averaging single-view RGB predictions and improves temporal ordering in approximately 88% of task-camera groups. On real tasks with fixed and wrist-mounted cameras, mean absolute error decreases by approximately 21% relative to averaged RGB fine-tuning. These results support camera geometry and joint visual evidence as useful components of task-specific robotic reward adaptation.