INSPECT: Learning Robot View Selection from Assistant Use

📄 arXiv: 2609.20615v1 📥 PDF

作者: Di Wen, Kailun Yang, Wenhao Guo, Yitian Shi, Junwei Zheng, Yufan Chen, Ruiping Liu, Jiale Wei, Rania Rayyes, Kunyu Peng

分类: cs.RO, cs.CV

发布日期: 2026-09-17

备注: 9 pages, 3 figures, 5 tables. Code: https://github.com/Kratos-Wen/INSPECT

🔗 代码/项目: GITHUB

💡 一句话要点

提出INSPECT以解决机器人视角选择问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 机器人视角选择 装配检查 智能眼镜 动态学习 PI-TwinSwap 工业自动化 智能制造

📋 核心要点

  1. 现有方法在机器人装配检查中难以有效选择最佳视角，导致信息获取不足。
  2. INSPECT通过学习智能眼镜助手的使用记录，优化机器人视角选择，提升检查效率。
  3. 实验结果显示，INSPECT在多个场景中显著提高了视角选择的有效性和决策准确率。

📝 摘要（中文）

在装配检查中，机器人需要判断部件的存在及其安装是否正确。通过对智能眼镜助手的记录，INSPECT学习机器人视角偏好，利用头部运动和工件处理提供证据。该方法通过Presence-Invariant TwinSwap（PI-TwinSwap）校准对象证据，并通过索引监督分离证据需求与可观察变化。实验表明，INSPECT在物理齿轮箱装配图像中实现了最高的视角效用，并将人类评估的完全可验证性从34.8%提升至41.7%。在IMPACT的商业角磨机录音中，转移的相对视角选择器将正确决策率从50.6%提高至54.3%。

🔬 方法详解

问题定义：本论文旨在解决机器人在装配检查中如何选择最佳视角的问题。现有方法往往依赖固定视角，无法灵活应对不同的检查需求，导致信息获取不足。

核心思路：INSPECT通过分析智能眼镜助手的使用记录，学习机器人在不同情况下的视角偏好，从而实现动态视角选择。该设计旨在提高机器人对装配状态的判断能力。

技术框架：INSPECT的整体架构包括数据收集、视角偏好学习和决策模块。数据收集阶段通过智能眼镜记录用户的操作和反馈，视角偏好学习阶段利用PI-TwinSwap校准证据，决策模块则基于当前观察和已知姿态选择最佳视角。

关键创新：INSPECT的主要创新在于引入了Presence-Invariant TwinSwap（PI-TwinSwap）技术，能够在不同视角下校准对象证据，并通过索引监督分离证据需求与观察变化，这在现有方法中尚未实现。

关键设计：在模型设计中，使用了特定的损失函数来优化视角选择的准确性，并通过对象中心的校准方法适应不同的机器人姿态。此外，采用了条款级筛选来验证预测证据的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，INSPECT在物理齿轮箱装配图像中实现了最高的视角效用，相较于保持当前视角，其人类评估的完全可验证性从34.8%提升至41.7%。在IMPACT的商业角磨机录音中，转移的相对视角选择器将正确决策率从50.6%提高至54.3%，显示出显著的性能提升。

🎯 应用场景

INSPECT的研究成果可广泛应用于工业自动化、智能制造和机器人辅助装配等领域。通过优化视角选择，机器人能够更高效地进行装配检查，减少错误率，提高生产效率，具有重要的实际价值和潜在影响。

📄 摘要（原文）

Robots inspecting an assembly must determine which parts are present and whether they are correctly installed. During egocentric assembly assistance, head motion and workpiece handling reveal evidence for these checks, while spoken state confirmations link observations to procedural outcomes. We introduce INSPECT, which learns robot view preferences from records of a smart-glasses assistant that answers part queries and provides next-step guidance. Presence-Invariant TwinSwap (PI-TwinSwap) calibrates object evidence through paired identity interventions. Claim-indexed supervision separates evidence requirements from camera-reproducible observation changes. Object-centered calibration adapts relative view preferences to robot poses, while clause-level screening checks predicted evidence. The robot selects views using only its current observation and known poses, without candidate images. Evaluation uses annotated assistant-video replay to simulate state feedback, without target-domain view labels for policy training. On images of physical gearbox assemblies, INSPECT achieves the highest view utility among the compared non-oracle policies and raises human-rated full verifiability from 34.8% to 41.7% compared with keeping the current view. On commercial angle-grinder recordings in IMPACT, the transferred relative-view selector increases the correct decision rate from 50.6% to 54.3% with a frozen perception head. The source code is available at https://github.com/Kratos-Wen/INSPECT.