TacPAC: Tactile Prediction and Real-Time Action Correction in World-Action Models for Contact-Rich Manipulation

📄 arXiv: 2609.05266v1 📥 PDF

作者: Zipei Ma, Xiaofei Wei, Junzhe Jiang, Shunlin Lu, Li Zhang

分类: cs.RO

发布日期: 2026-09-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出TacPAC以解决接触丰富操作中的实时动作修正问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 触觉预测 实时修正 接触丰富操作 机器人控制 动作规划 智能系统 机器学习

📋 核心要点

  1. 现有的世界动作模型在处理接触丰富的操作时，主要依赖视觉预测，忽视了重要的触觉信息，导致性能不足。
  2. TacPAC通过将触觉预测与实时动作修正结合，解决了触觉反馈与动作执行之间的时间不匹配问题，提高了操作的准确性。
  3. 在五个真实机器人任务中，TacPAC显著提升了成功率，从22%提高到64%，展示了其在复杂操作中的有效性。

📝 摘要（中文）

世界动作模型通过预测未来观察来指导动作生成，但以视觉为中心的预测忽视了决定接触丰富操作的局部接触线索。简单地将未来触觉观察作为额外视图进行预测，仅能恢复实验中可实现增益的三分之一。这一差距反映了时间不匹配：预测在执行之前，而触觉反馈在执行过程中到达。我们提出TacPAC，将触觉预测转化为实时动作修正。一旦基础模型规划了一个动作块，TacPAC会缓存该计划所依赖的预测接触及其自身表示，触觉专家会根据该缓存读取每个新观察到的触觉图像，以修正尚未执行的动作。反馈因此是基于计划的预期进行解释，而不是孤立的，单次修正仅需对缓存进行一次遍历，成本比重新生成动作块低20.7倍。在涉及精确插入、易碎物体处理、物体重定位和长时间操作的五个真实机器人任务中，TacPAC在每个任务中均表现优异，将视觉基础模型的平均成功率从22%提升至64%。

🔬 方法详解

问题定义：本论文旨在解决在接触丰富操作中，现有视觉中心的世界动作模型无法有效利用触觉信息的问题。现有方法在执行过程中缺乏实时的触觉反馈，导致操作精度不足。

核心思路：TacPAC的核心思路是将触觉预测转化为实时的动作修正。通过缓存预测的接触信息，TacPAC能够在动作执行过程中实时调整计划，以适应新的触觉反馈。

技术框架：TacPAC的整体架构包括三个主要模块：基础动作规划模型、触觉信息缓存和触觉专家修正模块。基础模型生成动作计划，缓存模块存储预测的触觉信息，触觉专家模块根据新观察的触觉图像进行实时修正。

关键创新：TacPAC的创新在于其将触觉预测与实时修正相结合，解决了传统方法中预测与执行之间的时间不匹配问题。与现有方法相比，TacPAC能够更有效地利用触觉信息进行动作调整。

关键设计：TacPAC的设计中，关键参数包括缓存的触觉信息的选择和更新策略，以及触觉专家模块的网络结构和损失函数设计。这些设计确保了系统在实时修正中的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TacPAC在五个真实机器人任务中表现出色，成功率从视觉基础模型的22%提升至64%。这一显著提升展示了TacPAC在处理复杂接触丰富操作中的有效性，且其实时修正机制的成本比重新生成动作块低20.7倍。

🎯 应用场景

TacPAC的研究成果在机器人操作、自动化装配和人机交互等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作能力，TacPAC能够显著提升工业自动化的效率和安全性，未来可能推动智能机器人在更多实际场景中的应用。

📄 摘要（原文）

World-action models guide action generation with predicted future observations, but vision-centric predictions miss the local contact cues that decide contact-rich manipulation. However, naively predicting future tactile observations as additional views recovers only a third of the achievable gain in our experiments. This gap reflects a timing mismatch: predictions precede execution, while tactile feedback arrives during it. We introduce TacPAC, which turns tactile prediction into real-time action correction. Once the base model has planned an action chunk, TacPAC caches the predicted contact that plan was conditioned on together with the plan's own representation, and a tactile expert reads each newly observed tactile image against that cache to correct the actions not yet executed. Feedback is thus interpreted against what the plan anticipated rather than in isolation, and one correction is a single pass over that cache, $20.7\times$ cheaper than regenerating the chunk. On five real-robot tasks spanning precision insertion, fragile-object handling, object reorientation, and long-horizon manipulation, TacPAC leads every task and raises the average from 22% for its vision-only base model to 64%. Code is available at https://github.com/LogosRoboticsGroup/TacPAC.