Adaptive Visuo-Tactile Fusion with Predictive Force Attention for Dexterous Manipulation
作者: Jinzhou Li, Tianhao Wu, Jiyao Zhang, Zeyuan Chen, Haotian Jin, Mingdong Wu, Yujun Shen, Yaodong Yang, Hao Dong
分类: cs.RO
发布日期: 2025-05-20 (更新: 2025-07-21)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于预测力注意力的自适应视觉-触觉融合方法，用于灵巧操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉-触觉融合 灵巧操作 注意力机制 力预测 自监督学习
📋 核心要点
- 现有视觉-触觉融合方法忽略了不同操作阶段各模态的重要性差异，导致融合效果不佳。
- 提出力引导的注意力融合模块，自适应调整视觉和触觉特征权重，无需人工标注。
- 引入自监督未来力预测任务，增强触觉模态，平衡数据，并促进注意力机制的有效调整。
📝 摘要（中文）
有效利用多模态数据对于机器人泛化到不同任务至关重要。然而，这些模态的异构性使得融合具有挑战性。现有方法提出了获得全面融合特征的策略，但通常忽略了每个模态在不同操作阶段需要不同程度的关注这一事实。为了解决这个问题，我们提出了一种力引导的注意力融合模块，该模块自适应地调整视觉和触觉特征的权重，无需人工标注。我们还引入了一个自监督的未来力预测辅助任务，以增强触觉模态，改善数据不平衡，并鼓励适当的调整。我们的方法在真实世界实验中的三个细粒度、富接触任务中实现了平均93%的成功率。进一步的分析表明，我们的策略在不同的操作阶段适当地调整了对每个模态的注意力。
🔬 方法详解
问题定义：论文旨在解决机器人灵巧操作中视觉和触觉信息融合的问题。现有方法通常采用简单的特征拼接或注意力机制，但忽略了在不同操作阶段，视觉和触觉信息的重要性是动态变化的。例如，在抓取初期，视觉信息可能更重要，而在接触后，触觉信息可能更重要。现有方法无法根据操作阶段自适应地调整各模态的权重，导致融合后的特征表达能力不足，影响操作的成功率。
核心思路：论文的核心思路是利用预测的未来力作为指导信号，自适应地调整视觉和触觉特征的权重。通过预测未来力，模型可以学习到当前状态下哪些触觉信息对于预测未来状态至关重要，从而更好地利用触觉信息。同时，视觉信息也参与到注意力权重的计算中，使得模型可以综合考虑视觉和触觉信息，实现更有效的融合。
技术框架：整体框架包含视觉和触觉特征提取模块、力引导的注意力融合模块和控制策略模块。首先，视觉和触觉数据分别经过特征提取模块，得到视觉特征和触觉特征。然后，力引导的注意力融合模块根据视觉特征、触觉特征和预测的未来力，计算视觉和触觉特征的权重，并将加权后的特征进行融合。最后，融合后的特征输入到控制策略模块，生成机器人的控制指令。
关键创新：论文的关键创新在于提出了力引导的注意力融合模块。该模块可以根据预测的未来力，自适应地调整视觉和触觉特征的权重，从而更好地利用多模态信息。此外，论文还引入了自监督的未来力预测任务，增强了触觉模态，改善了数据不平衡问题。
关键设计：力引导的注意力融合模块使用一个多层感知机（MLP）来预测未来力。该MLP的输入包括视觉特征、触觉特征和当前力。预测的未来力被用来计算视觉和触觉特征的注意力权重。具体来说，注意力权重是根据预测的未来力和触觉特征之间的相关性计算的。损失函数包括控制策略的损失函数和未来力预测的损失函数。未来力预测的损失函数采用均方误差（MSE）。
🖼️ 关键图片
📊 实验亮点
在真实世界实验中，该方法在三个细粒度、富接触任务中实现了平均93%的成功率，显著优于其他基线方法。消融实验表明，力引导的注意力融合模块和自监督的未来力预测任务均对性能提升有贡献。可视化分析表明，该策略能够根据不同的操作阶段，适当地调整对视觉和触觉模态的注意力。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的机器人任务，例如装配、抓取、操作工具等。通过自适应地融合视觉和触觉信息，机器人可以更好地理解环境和自身状态，从而实现更精确、更稳定的操作。该技术在工业自动化、医疗机器人、家庭服务机器人等领域具有广阔的应用前景。
📄 摘要（原文）
Effectively utilizing multi-sensory data is important for robots to generalize across diverse tasks. However, the heterogeneous nature of these modalities makes fusion challenging. Existing methods propose strategies to obtain comprehensively fused features but often ignore the fact that each modality requires different levels of attention at different manipulation stages. To address this, we propose a force-guided attention fusion module that adaptively adjusts the weights of visual and tactile features without human labeling. We also introduce a self-supervised future force prediction auxiliary task to reinforce the tactile modality, improve data imbalance, and encourage proper adjustment. Our method achieves an average success rate of 93% across three fine-grained, contactrich tasks in real-world experiments. Further analysis shows that our policy appropriately adjusts attention to each modality at different manipulation stages. The videos can be viewed at https://adaptac-dex.github.io/.