LIFD: Anchored Diffusion for 3D-Aware Scene Memory in Robotic Manipulation

📄 arXiv: 2609.19796v2 📥 PDF

作者: Wenbo Li, Yiteng Chen, Wenhao Li, Qingyao Wu

分类: cs.RO

发布日期: 2026-09-17 (更新: 2026-09-18)

备注: 8 pages, 4 figures. Submitted to ICRA 2027

💡 一句话要点

提出LIFD框架以解决机器人操作中的3D场景记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景记忆 机器人操作 视觉运动策略 多视图学习 几何感知

📋 核心要点

  1. 现有方法在机器人操作中面临部分可观察性的问题，导致场景记忆不足，影响操作效果。
  2. LIFD框架通过多视图一致性学习场景标记，并结合单视图和递归记忆进行场景补全，提升了场景记忆的持久性和准确性。
  3. LIFD在LIBERO和MetaWorld上分别实现了91.6%和79.8%的成功率，相较于现有方法有显著提升，验证了其有效性。

📝 摘要（中文）

在操作过程中，机器人和场景的运动可能会使先前观察到的区域超出相机的视野。几何感知的RGB特征能够编码可见结构，而在部分可观察性下进行控制需要整合观察历史的场景记忆，并将推断的内容与当前证据相结合。我们提出了LIFD（Look, Imagine, Focus, and Do）框架，用于持久的3D场景记忆。LIFD通过多视图一致性学习场景标记，然后利用单一RGB视图和递归记忆通过校正流进行补全。锚引导的交叉注意力将生成锚定于当前的几何感知特征，紧凑的槽特征则为视觉运动策略提供条件。在表示学习过程中使用多视图和几何监督；部署时只需一个RGB相机、运动觉感知和任务指令。LIFD（分阶段）在LIBERO上达到91.6%的平均成功率，在MetaWorld上达到79.8%，比联合训练提高了11.1个百分点。经过每个任务家庭十次演示的策略头适应后，LIFD在四个UR5e任务家庭中实现了56.0%的平均成功率，而OpenVLA-7B为40.5%。

🔬 方法详解

问题定义：本论文旨在解决机器人操作中由于场景和机器人运动导致的部分可观察性问题，现有方法在场景记忆的整合与推断上存在不足，影响操作的成功率。

核心思路：LIFD框架通过多视图一致性学习场景标记，并利用单一RGB视图和递归记忆进行场景补全，确保机器人在动态环境中能够有效地记忆和推断场景信息。

技术框架：LIFD的整体架构包括场景标记学习、场景补全、锚引导的交叉注意力机制和视觉运动策略的条件化。主要模块包括多视图输入、几何特征提取和策略输出。

关键创新：LIFD的主要创新在于通过锚引导的交叉注意力机制，将生成过程与当前几何感知特征相结合，显著提高了场景记忆的准确性和有效性，与现有方法相比具有本质区别。

关键设计：在模型设计中，采用了多视图和几何监督进行表示学习，损失函数的设计考虑了场景记忆的完整性和准确性，网络结构则通过紧凑的槽特征来优化视觉运动策略的条件化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIFD在LIBERO上实现了91.6%的平均成功率，较联合训练提高了11.1个百分点；在四个UR5e任务家庭中，经过策略头适应后，LIFD达到了56.0%的平均成功率，相较于OpenVLA-7B的40.5%有显著提升，验证了其优越性。

🎯 应用场景

该研究在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提升机器人对动态场景的记忆能力，LIFD能够提高机器人在复杂环境中的操作效率和成功率，推动智能机器人技术的发展。

📄 摘要（原文）

During manipulation, robot and scene motion can move previously observed regions outside the camera's field of view. Geometry-aware RGB features encode visible structure, while control under partial observability requires scene memory that integrates observation history and grounds inferred content in current evidence. We introduce \lifd{} (Look, Imagine, Focus, and Do), a framework for persistent, 3D-aware scene memory. LIFD learns scene tokens through multi-view agreement, then completes them from a single RGB view and recurrent memory using rectified flow. Anchor-Guided Cross-Attention anchors generation to current geometry-aware features, and compact slot features condition a visuomotor policy. Multi-view and geometric supervision are used during representation learning; deployment requires one RGB camera, proprioception, and a task instruction. LIFD (Staged) reaches 91.6\% average success on LIBERO and 79.8\% on MetaWorld, improving LIBERO average success by 11.1 percentage points over Joint training. After policy-head adaptation with ten demonstrations per family, LIFD achieves 56.0\% mean success across four UR5e task families, compared with 40.5\% for OpenVLA-7B.