Mixture of Frames Policy: Multi-Frame Action Denoising for Bimanual Mobile Manipulation

📄 arXiv: 2607.11884v1 📥 PDF

作者: Dian Wang, Jisang Park, Xiaomeng Xu, Han Zhang, Shuran Song, Jeannette Bohg

分类: cs.RO

发布日期: 2026-07-13

💡 一句话要点

提出混合帧策略以解决双手移动操控中的动作去噪问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 双手操控 动作去噪 扩散策略 多帧建模 机器人技术 视觉运动 任务依赖性

📋 核心要点

  1. 现有的扩散策略通常固定在单一动作框架中，导致去噪过程复杂且不够灵活。
  2. 提出的混合帧策略（MoF）通过在多个坐标框架中同步去噪，提升了动作建模的效率和准确性。
  3. 在九个模拟任务和两个真实任务中，MoF显著优于传统方法，展示了其在多帧动作去噪中的有效性。

📝 摘要（中文）

机器人操控本质上是多帧的：在末端执行器框架中局部动作可能简单，而运输、直立物体处理和全身协调在基准对齐框架中更易表示。然而，现代基于扩散的视觉运动策略通常固定在单一预定义动作框架中，迫使去噪器在该框架中建模复杂的动作分布。我们提出了混合帧策略（MoF），一种在多个坐标框架中执行同步动作去噪的扩散策略。MoF维护一个单一的规范扩散状态，在多个任务相关框架中重新表达，应用框架专用的去噪器，并将其噪声预测融合回规范框架。在九个模拟的双手操控任务中，我们展示了最佳动作框架依赖于任务，MoF在超越预设框架选择和标准专家混合基线方面表现出色。我们还在两个真实世界的双手移动操控任务中评估了MoF，证明其优于所有单帧基线。

🔬 方法详解

问题定义：本论文旨在解决双手移动操控中动作去噪的复杂性问题。现有方法通常局限于单一的动作框架，导致去噪器需要处理复杂的动作分布，影响了操控的灵活性和效率。

核心思路：论文提出的混合帧策略（MoF）通过在多个任务相关的坐标框架中执行同步去噪，利用框架专用的去噪器来简化动作建模过程，从而提高整体性能。

技术框架：MoF的整体架构包括一个规范扩散状态的维护模块、多个框架的重新表达模块、框架专用去噪器的应用模块，以及将噪声预测融合回规范框架的模块。

关键创新：MoF的核心创新在于引入了一种基于列的6D旋转表示，支持在SE(3)动作参数化中进行精确且可微的框架转换，避免了噪声旋转必须位于SO(3)流形上的限制。

关键设计：在设计中，MoF采用了多种框架的去噪器，结合了任务特定的特征，并通过优化损失函数来提升去噪效果，确保在不同任务中都能有效应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在九个模拟的双手操控任务中，MoF在动作去噪方面的表现超越了预设框架选择和标准专家混合基线，展示了其在任务依赖性上的优势。此外，在两个真实世界的双手移动操控任务中，MoF也优于所有单帧基线，证明了其实际应用的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人手术、自动化仓储、智能家居等需要高精度双手操作的场景。通过提升双手移动操控的灵活性和准确性，MoF有望在实际应用中显著提高工作效率和安全性，推动机器人技术的发展。

📄 摘要（原文）

Robotic manipulation is inherently multi-frame: local actions may be simple in an end-effector frame, while transport, upright-object handling, and whole-body coordination are better represented in a base-aligned frame. However, modern diffusion-based visuomotor policies typically commit to a single predefined action frame, forcing one denoiser to model action distributions that are often unnecessarily complex in that frame. We propose Mixture of Frames Policy (MoF), a diffusion policy that performs synchronized action denoising across multiple coordinate frames. MoF maintains a single canonical diffusion state, re-expresses it in several task-relevant frames, applies frame-specialized denoisers, and fuses their noise predictions back in the canonical frame. To make this possible for intermediate noisy diffusion states, we introduce a column-based 6D rotation representation within an SE(3) action parameterization that supports exact, differentiable frame transformations without requiring noisy rotations to lie on the SO(3) manifold. Across nine simulated bimanual manipulation tasks, we show that the best action frame is task-dependent and that MoF improves over oracle frame selection and standard Mixture-of-Experts (MoE) baselines. We further evaluate MoF on two real-world bimanual mobile manipulation tasks, demonstrating that it outperforms all constituent single-frame baselines. Project homepage: https://mofpo.github.io