AVT-Fabric: Active Visuo-Tactile Perception via Adaptive Evidence Selection for Efficient Robotic Fabric Comparison

📄 arXiv: 2609.21377v1 📥 PDF

作者: Chang Gao, Zhuo Chen, Suhang Xia, Jihong Zhu, Jiankang Deng, Shan Luo

分类: cs.RO

发布日期: 2026-09-18

备注: Project website: https://zhuochenn.github.io/AVT-project/

💡 一句话要点

提出AVT-Fabric以解决机器人面料比较中的视觉与触觉融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人感知 多模态融合 触觉反馈 视觉处理 自适应选择

📋 核心要点

  1. 现有的机器人面料比较方法在视觉和触觉信息的融合上存在效率低下和准确性不足的问题。
  2. AVT-Fabric框架通过动态选择触觉证据，结合视觉信息，提升了面料比较的准确性和效率。
  3. 在实验中，AVT-Fabric在400个比较中实现了98.0%的准确率，相较于基线模型提高了4.0个百分点，同时减少了61.8%的模型延迟。

📝 摘要（中文）

机器人面料比较需要有效结合视觉外观和触觉线索。本文提出了AVT-Fabric，一个RGB优先的框架，根据每个比较的难度动态分配触觉证据。双尺度门控评估答案令牌的置信度和原始对数分离，以决定是否需要额外的力标记GelSight观察。通过在400个保留比较上进行测试，AVT-Fabric以98.0%的准确率超越了基线模型的94.0%，并且在处理阶段上平均仅使用1.60个，显著提高了效率和准确性。该框架还在实际机器人系统上部署，展示了其在多种应用场景中的有效性。

🔬 方法详解

问题定义：本文旨在解决机器人在面料比较中如何有效结合视觉和触觉信息的问题。现有方法在处理复杂比较时，往往面临效率低下和准确性不足的挑战。

核心思路：AVT-Fabric的核心思路是根据每个比较的难度动态分配触觉证据，通过双尺度门控机制评估置信度，从而优化信息获取过程。

技术框架：该框架主要包括三个模块：视觉信息获取、触觉证据选择和决策整合。视觉模块首先提取RGB图像特征，触觉模块通过GelSight传感器获取触觉数据，最后通过投票机制整合各个模块的输出。

关键创新：AVT-Fabric的关键创新在于其自适应证据选择机制，能够根据比较难度动态调整触觉信息的使用，与传统的被动推理方法相比，显著提高了准确性和效率。

关键设计：在设计中，采用了7B的多模态大语言模型（MLLM），并通过紧凑的文本记忆保存执行历史，使用多数投票法来巩固预测结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AVT-Fabric在400个比较中实现了98.0%的准确率，超越了基线模型的94.0%，提升幅度达到4.0个百分点。同时，该框架在处理阶段上平均仅使用1.60个，显著降低了61.8%的模型延迟，展示了其高效性和准确性。

🎯 应用场景

AVT-Fabric的研究成果具有广泛的应用潜力，尤其是在智能制造、服装设计和机器人助手等领域。通过提升机器人对面料的感知能力，该技术能够帮助实现更高效的生产流程和更精准的产品选择，未来可能推动相关行业的智能化转型。

📄 摘要（原文）

Robotic fabric comparison needs to actively combine visual appearance and tactile cues. Here, we present AVT-Fabric, an RGB-first framework that allocates tactile evidence according to the difficulty of each comparison. A dual-scale gate evaluates answer-token confidence and raw logit separation to determine whether another force-tagged GelSight observation is needed. Compact textual memory preserves the executed history, and majority voting consolidates the selected predictions. On 400 held-out comparisons, AVT-Fabric achieves 98.0% accuracy with a compact 7B Multimodal Large Language Model (MLLM), surpassing the 94.0% reported by the 90B MLLM-Fabric baseline by 4.0 percentage points while processing only 1.60 of five available stages on average. It improves on matched passive inference by 9.25 percentage points and reduces model-side latency by 61.8%, while also improving on RGB-only accuracy. Four additional MLLM backbones support the generalizability, accuracy, and efficiency of the framework. This framework is also deployed on a real robotic system, achieving 78.1% pairwise ranking accuracy and correct fabric selection in seven of eight application scenarios. AVT-Fabric demonstrates that adaptive evidence selection can improve both the accuracy and efficiency of robotic visuo-tactile reasoning.