LIFD: Anchored Diffusion for 3D-Aware Scene Memory in Robotic Manipulation

📄 arXiv: 2609.19796v1 📥 PDF

作者: Wenbo Li, Yiteng Chen, Wenhao Li, Qingyao Wu

分类: cs.RO

发布日期: 2026-09-17

备注: 8 pages, 4 figures. Submitted to ICRA 2027

💡 一句话要点

提出LIFD框架以解决机器人操作中的3D场景记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 3D场景记忆 多视图学习 几何感知 锚点引导 递归记忆 操作策略 成功率提升

📋 核心要点

  1. 现有方法在处理部分可观测环境时，无法有效保持和推断场景的完整性，导致操作性能下降。
  2. LIFD框架通过多视图一致性学习场景表示，并结合单视图和递归记忆进行内容补全，提升了场景记忆的持久性和准确性。
  3. 在四个UR5e任务系列上，LIFD的平均成功率为56.0%，相比OpenVLA-7B的40.5%有显著提升，验证了其有效性。

📝 摘要（中文）

在部分可观测的机器人操作中，需要超越当前视图的空间信息。几何感知的RGB特征描述了可见结构，但随着机器人或场景的移动，先前观察到的区域可能会消失。因此，保持有效的场景表示需要保留观察历史，同时推断缺失内容而不失去与可见证据的联系。我们提出了LIFD（Look, Imagine, Focus, and Do）框架，用于持久的3D场景记忆。LIFD通过多视图一致性学习场景标记表示，并通过单个RGB视图和递归记忆进行补全。经过修正的流模型生成标记，而锚点引导的交叉注意力则基于当前几何特征进行补全。多视图和几何监督用于表示学习；部署时只需一个RGB相机、运动感知和任务指令。LIFD（分阶段）在LIBERO上达到91.6%的平均成功率，在MetaWorld上为79.8%，比联合训练提高了3.1个百分点。

🔬 方法详解

问题定义：本论文旨在解决机器人在部分可观测环境中，如何有效保持和推断3D场景记忆的问题。现有方法在动态环境中无法有效处理先前观察到的区域，导致信息丢失和操作失败。

核心思路：LIFD框架的核心思路是通过多视图一致性学习场景标记表示，并利用单个RGB视图和递归记忆进行内容补全，从而实现持久的3D场景记忆。该设计旨在确保机器人在操作过程中能够有效利用历史观察信息。

技术框架：LIFD的整体架构包括多个主要模块：首先，通过多视图一致性生成场景标记；其次，使用修正流模型生成标记；最后，锚点引导的交叉注意力机制用于基于当前几何特征进行内容补全。整个流程结合了多视图和几何监督。

关键创新：LIFD的主要创新在于其通过锚点引导的交叉注意力机制实现了对当前几何特征的有效利用，显著提升了场景记忆的准确性和持久性。这一方法与现有方法相比，能够更好地连接可见证据与历史观察。

关键设计：在参数设置上，LIFD采用了紧凑的槽特征来连接场景表示与操作策略。此外，损失函数设计上结合了多视图和几何监督，以确保学习过程中的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIFD在LIBERO数据集上达到了91.6%的平均成功率，较联合训练提高了3.1个百分点；在MetaWorld上成功率为79.8%。在UR5e任务系列中，LIFD的56.0%成功率显著高于OpenVLA-7B的40.5%，展示了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和服务机器人等。通过提升机器人在动态环境中的操作能力，LIFD框架能够在复杂任务中实现更高的成功率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Robotic manipulation under partial observability requires spatial information that extends beyond the current view. Geometry-aware RGB features describe visible structure, but previously observed regions may disappear as the robot or scene moves. Maintaining a useful scene representation therefore requires retaining observation history while inferring missing content without losing its connection to visible evidence. We introduce LIFD (Look, Imagine, Focus, and Do), a framework for persistent, 3D-aware scene memory. LIFD learns a scene-token representation from multi-view agreement and completes it from a single RGB view and recurrent memory. A rectified-flow model generates the tokens while Anchor-Guided Cross-Attention conditions completion on current geometric features. Compact slot features connect this representation to a manipulation policy. Multi-view and geometric supervision are used during representation learning; deployment requires one RGB camera, proprioception, and a task instruction. LIFD (Staged) reaches 91.6% average success on LIBERO and 79.8% on MetaWorld, improving LIBERO average success by 3.1 percentage points over Joint training. On four UR5e task families with ten demonstrations per family, it achieves 56.0% mean success, compared with 40.5% for OpenVLA-7B.