ALIGN: Aligning Condition Estimation and Expression in Advantage-Conditioned Behavior Cloning

📄 arXiv: 2610.26455v1 📥 PDF

作者: Zechen Wang, Zhenqi Qiu, Houlong Xiong, Suohang Zhang, Yiyu Ren, Wanting Xu, Hongfei Niu, Chengyang He, Ge Sun, Ran Cheng, Qian Zhu

分类: cs.RO, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出ALIGN框架以解决混合质量数据下的机器人行为克隆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为克隆 条件信号 机器人操作 混合质量数据 策略学习 深度学习 自动化技术

📋 核心要点

  1. 现有的行为克隆方法在处理混合质量数据时，条件信号的准确性和有效性不足，导致策略性能下降。
  2. ALIGN框架通过直接预测条件并将其注入到动作专家中，增强了条件信号的强度和准确性，从而改善了策略的表现。
  3. 在ARX X5和Franka任务的实验中，ALIGN分别实现了90.0%和56.7%的闭环成功率，相比于现有基线有显著提升。

📝 摘要（中文）

人类收集的机器人操作数据通常混合了成功行为与重试、暂停、恢复和失败等情况。优势条件行为克隆（AC-BC）能够利用这些混合质量数据，但前提是条件信号必须准确构建并有效融入策略的动作向量场预测。现有方法通过阈值化估计器导出的优势分数，导致条件信号噪声增加，并通过弱影响动作向量场的提示路由条件。为此，本文提出ALIGN，一个条件对齐的AC-BC框架，直接在策略标签空间中预测分类对条件，并通过AdaRMS调制与流时间融合将其注入到DiT动作专家中。实验结果表明，ALIGN在ARX X5碗堆叠和Franka钥匙悬挂任务中显著提高了条件保真度和闭环成功率。

🔬 方法详解

问题定义：本文旨在解决在混合质量数据下，如何有效利用条件信号以提升机器人行为克隆的性能。现有方法通过阈值化和弱路由导致条件信号的噪声和不准确性，影响了策略的学习效果。

核心思路：ALIGN框架的核心思路是直接在策略标签空间中预测条件，并通过AdaRMS调制将其注入到动作专家中，以增强条件信号的强度和准确性，从而提升策略的表现。

技术框架：ALIGN的整体架构包括条件预测模块、AdaRMS调制模块和动作专家模块。首先，条件预测模块生成条件信号，然后通过AdaRMS调制将其与流时间融合，最后将增强的条件信号注入到动作专家中进行决策。

关键创新：ALIGN的主要创新在于条件信号的直接预测和注入机制，区别于传统方法的间接处理方式，从而显著提高了条件信号的保真度和策略的学习效果。

关键设计：在设计中，ALIGN使用了AdaRMS调制技术来动态调整条件信号的影响力，并结合流时间的概念，以确保条件信号在动作向量场中的有效性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ALIGN在ARX X5碗堆叠和Franka钥匙悬挂任务中分别实现了90.0%和56.7%的闭环成功率，显著高于现有AC-BC基线的56.7%和33.3%。这一结果表明ALIGN在条件信号对齐方面的有效性，能够从混合质量数据中提取出更为稳健的操作策略。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过提升机器人在复杂环境中的操作能力，ALIGN框架能够为智能机器人系统的开发提供更为可靠的策略，推动智能自动化技术的进步与应用。

📄 摘要（原文）

Human-collected robot manipulation data often mix successful behavior with retries, pauses, recoveries, and failures. Advantage-Conditioned Behavior Cloning (AC-BC) can exploit such mixed-quality data, but only if the conditioning signal is both accurately constructed from offline trajectories and effectively incorporated into the policy's action-vector-field prediction. Existing pipelines can weaken this signal by thresholding estimator-derived advantage scores into noisy conditions, and by routing conditions through prompts that weakly affect the action vector field. We introduce ALIGN, a condition-aligned AC-BC framework for vision-language-action policies. ALIGN directly predicts categorical pairwise conditions in the policy-facing label space and injects them into a DiT action expert through AdaRMS modulation fused with flow time. We evaluate ALIGN on deliberately mixed real-robot datasets for ARX X5 bowl stacking and Franka key hanging, each combining standard demonstrations with retry-heavy trajectories. ALIGN improves condition fidelity, strengthens conditional vector-field separability, and achieves 90.0% and 56.7% closed-loop success, compared with 56.7% and 33.3% for the strongest AC-BC baseline. These results indicate that aligning conditions from estimation to action prediction is an effective way to extract robust manipulation policies from data in which success, recovery and error coexist.