LogLook: Execution-Grounded Memory for Frontier-Model Robot Planners
作者: Tianyi Jiang, Tianyao Tong, Zhenshan Bing
分类: cs.RO
发布日期: 2026-10-23
备注: 19 pages, 11 figures, 10 tables
💡 一句话要点
提出LogLook以解决机器人规划中的记忆问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人规划 记忆管理 执行日志 视觉语言模型 动态信息检索
📋 核心要点
- 核心问题：现有的机器人规划方法在记忆管理上存在不足，无法有效跟踪操作和学习内容。
- 方法要点：LogLook通过执行基础的记忆系统，允许机器人选择性查看重要信息，从而优化记忆使用。
- 实验或效果：LogLook在使用更少资源的情况下，成功率显著提高，解决了93.5%的RoboMME测试集。
📝 摘要（中文）
许多操作任务要求机器人记住其所做的和所见的内容。前沿视觉语言模型能够在无需特定任务训练的情况下规划这些任务，但如何让规划者有效记忆一个事件仍然是一个未解的问题。我们认为，记忆必须跟踪规划者的操作和学习，并允许规划者选择查看内容，因为每帧都消耗令牌；在每一步重写的笔记效果不佳。我们提出LogLook，其执行基础的记忆系统让系统保持记录、执行日志和模型的早期笔记，同时模型决定查看内容：仅在预期变化的地方返回帧，并在检查选择的部分之前快速浏览演示。通过基准的运动规划器测量，LogLook在使用43%更少的令牌和不到一半的图像的情况下，成功率与仅使用笔记的记忆相匹配，并且通过记忆或看到的内容失败的事件显著减少。在直接控制下，LogLook解决了93.5%的RoboMME测试集。
🔬 方法详解
问题定义：本论文旨在解决机器人在执行任务时如何有效记忆其操作和观察的问题。现有方法往往依赖于重写笔记，导致信息冗余和效率低下。
核心思路：LogLook的核心思路是构建一个执行基础的记忆系统，使机器人能够选择性地查看重要信息，从而减少资源消耗并提高任务成功率。
技术框架：LogLook的整体架构包括三个主要模块：执行日志记录模块、记忆选择模块和信息检索模块。执行日志记录模块负责记录机器人执行的每一步，记忆选择模块决定哪些信息需要被查看，而信息检索模块则从记忆中提取相关内容。
关键创新：LogLook的主要创新在于其执行基础的记忆管理策略，允许机器人在预期变化的地方进行信息检索，而不是在每一步都重写笔记。这种方法显著减少了信息处理的复杂性和资源消耗。
关键设计：在设计中，LogLook采用了动态令牌管理策略，确保每帧的处理仅在必要时进行。此外，模型的损失函数经过优化，以平衡记忆的准确性和资源的使用效率。
🖼️ 关键图片
📊 实验亮点
LogLook在基准测试中表现出色，成功率达到93.5%，并且在使用43%更少的令牌和不到一半的图像的情况下，显著减少了因记忆或观察不足导致的失败事件。这表明LogLook在资源利用和任务成功率方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景。在这些领域，机器人需要高效地处理和记忆大量信息，以完成复杂的操作任务。未来，LogLook有望推动机器人自主学习和适应能力的提升，增强其在动态环境中的表现。
📄 摘要（原文）
Many manipulation tasks require a robot to remember what it has done and what it has seen. Frontier vision-language models can plan such tasks without task-specific training, but how such a planner should remember an episode is an open question. We argue that its memory must keep track of what the planner has done and learned, and must let the planner choose what to look at, since every frame costs tokens; a note rewritten at every step meets both poorly. We propose LogLook, whose execution-grounded memory lets the system keep the record, an execution log and the model's earlier notes, while the model decides where to look: frames are returned only where it expects a change, and demonstrations are skimmed before it inspects the parts it chooses. Measured with the benchmark's motion planner, LogLook matches the success of a note-only memory with 43% fewer tokens and less than half the images, and fails far fewer episodes through what it remembered or saw. With direct control, LogLook solves 93.5% of the RoboMME test set.