Beyond End-Task Success: How to Audit Visual Experience Retrieval in Robotics
作者: Eshika Pathak, Leela Krishna
分类: cs.RO, cs.CV
发布日期: 2026-09-22
备注: Accepted to the IROS 2026 Workshop on Embodied Neuro-Symbolic AI for Reliable and Safe Robotics (ReS AI)
💡 一句话要点
提出审计方法以评估机器人视觉经验检索的有效性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人视觉 经验检索 审计方法 成功率评估 视觉相似性 自主学习 智能制造
📋 核心要点
- 现有机器人系统在选择重用经验时，往往仅依赖视觉相似性，导致评估结果无法真实反映选择的有效性。
- 本文提出了一种审计方法，通过在不同场景中执行所有存储经验，全面评估选择的合理性和库的质量。
- 实验结果表明，固定经验的选择能够显著提高成功率，而视觉距离在成功预测方面表现良好，但在候选排名上效果有限。
📝 摘要（中文）
存储过去经验的机器人在新场景中必须选择重用的经验。现有系统主要通过视觉相似性进行选择，评估结果通常仅反映所选经验的成功率，未能揭示选择的合理性。本文提出了一种审计方法，通过在多个操作任务和重用机制下执行所有存储经验，评估每个场景的选择和库的质量。研究发现，固定经验的选择能够显著缩小随机选择与理想选择之间的差距，而视觉距离在成功预测方面表现良好，但在场景内的候选排名上效果有限。最终，审计方法提供了两种简单的报告，帮助研究者更好地理解经验选择的分布及最佳单一经验的成功率。
🔬 方法详解
问题定义：本文旨在解决现有机器人视觉经验检索中，仅通过成功率评估选择合理性的问题。现有方法未能揭示选择的质量，可能导致误导性结果。
核心思路：提出了一种审计方法，通过在不同场景中执行所有存储经验，评估每个场景的选择和库的质量，从而提供更全面的评估。
技术框架：整体架构包括多个模块：存储经验库、查询场景、执行机制和评估模块。通过在不同的操作任务和重用机制下执行所有经验，获取每个选择的结果。
关键创新：最重要的创新在于审计方法的提出，使得可以追踪每个选择的结果，并将其与库的质量进行比较，从而提供更准确的评估。
关键设计：在实验中，设置了不同的经验库大小（K=3, 10, 50），并使用了五种视觉嵌入方法，包括原始像素和CLIP。通过对每个场景的选择进行全面执行，获得了详尽的成功率和选择分布数据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，固定经验的选择能够捕捉到30-58%的成功率差距，而在K≥10时，视觉规则对单一经验的依赖程度显著提高，成功率与该经验的质量密切相关。此外，视觉距离在成功预测方面的AUROC高达0.96，但在候选排名上表现仅为随机水平（AUROC 0.45-0.52）。
🎯 应用场景
该研究的潜在应用领域包括机器人自主学习、智能制造和人机协作等。通过改进经验选择的评估方法，能够提升机器人在复杂环境中的适应能力和决策效率，进而推动智能机器人技术的发展。
📄 摘要（原文）
Robots that store past experiences must select which one to reuse in a new scene. Most systems select by visual similarity, and most evaluations report only the success of the selected experience. That number does not show whether the selection was good: a rule can score well by repeatedly using one broadly transferable experience, or poorly because its preferred experience is weak. Since robots increasingly adapt by reuse rather than retraining, a score that describes the library rather than the rule misleads what the field builds next. We contribute an audit methodology: execute every stored experience in every query scene, over two manipulation tasks, three reuse mechanisms, and libraries of $K=3$, $10$, and $50$. Because every alternative's outcome is known, a score can be traced to per-scene selection or to library quality. The audited rules select by nearest-neighbor distance in five visual embeddings, from raw pixels to CLIP. (1) One fixed experience, chosen with hindsight, captures 30-58% of the gap between random selection and an oracle; per-scene selection competes for the remaining 0.07-0.15 in success rate. (2) At $K\ge10$, visual rules concentrate on one experience 1.5-3 times more than the oracle does, and their scores then follow that experience's quality. (3) Wherever a rule differs significantly from a shuffle that keeps its selection rates but pairs them with scenes at random, the rule is worse, for every learned image policy. (4) Visual distance predicts well whether a given pair will succeed (AUROC up to 0.96), yet ranks the candidates within one scene no better than chance for four of five embeddings at $K=50$ (AUROC 0.45-0.52). Exhaustive execution is usually infeasible, so the audit reduces to two cheap reports any study can give: the distribution of selected experiences, and the success of the best single experience in hindsight.