Compact Visuotactile World Models for Lifting: Prediction, Reward Alignment, and Force Constraints
作者: Qinzhen Ma, Sida Peng
分类: cs.RO, cs.AI
发布日期: 2026-09-09
备注: 8 pages, 2 figures. Code and tabulated results included as ancillary material
💡 一句话要点
提出紧凑的视触觉世界模型以提升机器人抓取性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人抓取 视触觉模型 接触预测 轨迹级校准 演员-评论家学习
📋 核心要点
- 现有方法在机器人抓取中面临接触预测与决策支持之间的有效连接不足。
- 本文提出了一种紧凑的视触觉世界模型，结合轨迹级不确定性校准和行为初始化的学习方法。
- 实验结果显示，触觉信息显著降低了力预测误差，并提高了抓取成功率，验证了方法的有效性。
📝 摘要（中文）
准确的接触预测对于机器人操作至关重要，但仅在支持有效决策时才有意义。本文探讨了这一联系，采用紧凑的随机初始化视触觉世界模型、轨迹级不确定性校准和行为初始化的演员-评论家学习。在160个MuJoCo Lift实验中，加入触觉信息将端点力预测误差从1.058降低至0.228 N，区间峰值误差从2.724降低至0.523 N。触觉持久性进一步降低误差至0.095和0.498 N。通过680次实验，匹配奖励修正使新测试环境中的10 cm提升成功率从20.0%提升至93.3%。然而，在8 N每指预算内的成功率仅为33.3%。这些发现区分了感知和任务奖励的改进与受力控制的改进，证据仅限于公共感知记录和模拟器执行，未展示两者之间的转移。
🔬 方法详解
问题定义：本文旨在解决机器人抓取中接触预测与决策支持之间的有效连接问题。现有方法在接触预测的准确性与决策的有效性之间存在不足，导致抓取性能受限。
核心思路：论文提出了一种紧凑的视触觉世界模型，通过引入触觉信息和轨迹级不确定性校准，增强了对接触力的预测能力，并通过行为初始化的学习方法提高了决策的有效性。
技术框架：整体架构包括三个主要模块：首先是紧凑的视触觉世界模型，其次是轨迹级不确定性校准，最后是基于行为初始化的演员-评论家学习。模型通过随机初始化，结合视觉和触觉信息进行训练。
关键创新：最重要的技术创新在于将触觉信息与视觉信息结合，显著提升了接触力的预测精度，并通过匹配奖励修正提高了抓取成功率。这种方法与传统的单一感知方法有本质区别。
关键设计：在模型设计中，采用了特定的损失函数来平衡预测误差和任务完成度，同时在网络结构上进行了优化，以适应多模态输入的特性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，触觉信息的引入使得端点力预测误差从1.058 N降低至0.228 N，区间峰值误差从2.724 N降低至0.523 N。通过匹配奖励修正，10 cm提升的成功率从20.0%提升至93.3%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化生产线和人机交互等。通过提高机器人在复杂环境中的抓取能力，能够显著提升自动化系统的效率和灵活性，未来可能对智能制造和服务机器人领域产生深远影响。
📄 摘要（原文）
Accurate contact prediction is useful for robotic manipulation only if it supports effective decisions. We investigate this connection using a compact, randomly initialized visuotactile world model, trajectory-level uncertainty calibration, and behavior-initialized actor-critic learning in imagination. On 160 MuJoCo Lift episodes, adding touch reduces endpoint-force prediction error from 1.058 to 0.228 N and interval-peak error from 2.724 to 0.523 N across three training seeds. However, tactile persistence achieves lower errors of 0.095 and 0.498 N, respectively. Two exploratory control rounds comprise 680 executions on 40 independent test initial conditions. A matched reward revision on fresh test environments increases in-distribution 10 cm lifting success from 20.0% to 93.3%, while success within an 8 N per-finger budget reaches only 33.3%, compared with 70.0% for force feedback. Calibration margins reduce force violations at the cost of task completion. In a separate study of public GelSight recordings, a force regressor achieves 0.04234 N error, but frame-level calibration covers only 15.80% of complete trajectories; trajectory-level calibration raises this to 87.36% at nominal 90% coverage. Together, these findings distinguish improvements in sensing and task reward from improvements in force-constrained control. The evidence is limited to public sensing records and simulator execution, without a demonstrated transfer between them.