Immiscible Diffusion Policy: Preserving Multimodal Robot Actions through Label-Free Noise Assignment
作者: Xiao Zhang, Yuxin Chen, Zhixuan Liang, Guojian Zhan, Chenran Li, Chenfeng Xu, Masayoshi Tomizuka, Yiheng Li
分类: cs.RO, cs.LG
发布日期: 2026-10-07
💡 一句话要点
提出不可混溶扩散策略以解决机器人多模态动作保留问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散策略 多模态学习 机器人规划 动作保留 无标签训练
📋 核心要点
- 现有的扩散策略在多模态动作分布恢复方面存在不足，常常导致模态崩溃为单一形式。
- 本文提出的不可混溶扩散策略通过无标签的动作噪声分配，旨在保留不同的噪声到动作路径。
- 实验结果显示，该方法在多模态任务中显著提高了非主导模态的比例，提升幅度达到6.0x-14.6x。
📝 摘要（中文）
在扩散策略首次提出时，期望其能够恢复多模态动作分布。然而，研究发现这一期望并不总是成立，因为扩散策略往往会崩溃为单一模态。分析表明，独立的动作噪声配对导致了扩散路径之间的混合和交叉，从而产生了平均去噪响应，抑制了模态特定行为。为了解决这一问题，本文提出了不可混溶扩散策略，这是一种无标签的训练时附加方法，通过动作噪声分配来保留相对独特的噪声到动作路径，而不修改策略架构或推理过程。实验结果表明，该方法在多项任务中显著提高了策略对动作模态的保留能力。
🔬 方法详解
问题定义：本文解决的问题是扩散策略在多模态动作分布恢复中的失败，现有方法在保证数据集模态平衡和批内对称性时，仍然容易崩溃为单一模态。
核心思路：提出不可混溶扩散策略，通过动作噪声分配来保持不同的噪声到动作路径，避免了独立动作噪声配对导致的混合和交叉，从而保留多模态特性。
技术框架：该方法在扩散策略的基础上进行改进，主要包括动作噪声的分配模块，确保在训练过程中不同模态的噪声路径相对独立。
关键创新：不可混溶扩散策略的核心创新在于其无标签的训练方式，能够在不改变策略架构或推理过程的情况下，增强多模态动作的保留能力。
关键设计：在参数设置上，采用了特定的噪声分配策略，损失函数设计上注重模态间的区分度，确保不同模态的动作能够得到有效保留。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用不可混溶扩散策略后，非主导模态的比例在三项双模态任务中提升了6.0x-14.6x，并在四模态任务中恢复了在传统策略中完全缺失的模态。这表明该方法在多模态保留方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括机器人规划、自动化操作和人机交互等场景。通过提高机器人在多模态任务中的表现，能够增强其在复杂环境中的适应能力，提升实际应用的价值和效率。未来，该方法可能推动更广泛的多模态学习研究和应用。
📄 摘要（原文）
When diffusion policies were first introduced, they were expected to recover multi-modal action distributions. However, we find this expectation does not always hold, as diffusion policies often collapse to a single modality even when we guarantee the balance of dataset modalities and exact within-batch symmetry. Our analysis indicates that independent action-noise pairing contributes to this failure by increasing mixing and crossing among diffusion paths, which can produce averaged denoising responses and suppress modality-specific behavior. This issue is especially severe in robot planning, where action spaces are dense and low-dimensional, significantly increasing such mixing and crossing. To alleviate this problem, we propose Immiscible Diffusion Policy, a label-free training-time add-on to diffusion policy that uses action-noise assignment to preserve relatively distinct noise-to-action routes without modifying the policy architecture or inference procedure. Across five simulated and two real-world humanoid manipulation tasks spanning state, RGB, and point-cloud observations, our method significantly improves the policy's preservation of action modalities while maintaining strong task performance. It increases the proportion of the non-dominant modality by 6.0x-14.6x across three two-modality tasks and recovers demonstrated modalities that are entirely absent from vanilla policy rollouts on both four-modality tasks. These results demonstrate that Immiscible Diffusion Policy provides a simple yet robust approach to preserving action multi-modality in general robot learning tasks.