RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
作者: Xuhui Kang, Sung-Wook Lee, Yan Zhuang, Tianle Zhong, Yen-Ling Kuo
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-09
备注: 21 pages, 11 figures, 7 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出RARA以解决机器人操作任务中的策略微调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 策略微调 表示对齐 预训练模型 任务适应 泛化能力 机器学习 自动化
📋 核心要点
- 现有方法在仅有少量示例的情况下，难以有效适应新任务，且直接微调可能导致表示扭曲。
- 本文提出的RARA方法通过检索相似任务的表示特征，进行表示对齐，从而减少表示不匹配。
- 实验结果显示，RARA在多个任务上显著提高了微调成功率，尤其是在分布外任务中表现优异。
📝 摘要（中文）
预训练的机器人策略，如视觉-语言-动作（VLA）模型，为通用机器人操作提供了坚实基础，但在仅有少量示例的情况下适应新任务仍然具有挑战性。直接微调预训练策略通常在分布内表现良好，但可能扭曲预训练期间学习的表示，削弱模型在分布外的泛化能力。为了解决这一问题，本文提出了检索锚定表示对齐（RARA），一种两阶段适应方法。RARA首先从预训练中检索具有相似任务意图和动作的表示特征，并将目标示例的策略表示与检索示例的预训练表示对齐。其次，RARA在目标示例上微调策略，同时限制检索示例的表示在微调过程中的变化。通过在动作学习前减少表示不匹配并在适应过程中保留预训练知识，RARA限制了微调过程中的不必要表示漂移。实验结果表明，RARA在RoboTwin、RoboCasa及真实机器人上的13个任务中，分布内微调成功率提高了9.5个百分点，分布外提高了13.6个百分点，超越了所有对比基线。
🔬 方法详解
问题定义：本文旨在解决在少量示例下，预训练机器人策略在新任务中的适应性问题。现有方法在微调过程中容易导致表示扭曲，影响模型的泛化能力。
核心思路：RARA方法通过两阶段适应，首先检索与目标任务相似的预训练表示，然后对目标示例进行微调，同时限制检索表示的变化，从而减少表示不匹配和保持预训练知识。
技术框架：RARA的整体架构分为两个主要阶段：第一阶段为表示检索与对齐，第二阶段为目标示例的微调。第一阶段确保策略表示与检索表示的一致性，第二阶段则在微调过程中控制表示的变化。
关键创新：RARA的创新之处在于其检索锚定的表示对齐机制，能够有效减少微调过程中的表示漂移，与传统的直接微调方法相比，显著提高了模型的泛化能力。
关键设计：在RARA中，采用了特定的损失函数来衡量检索表示与目标表示之间的对齐程度，并设计了参数限制机制，以控制微调过程中表示的变化幅度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RARA在RoboTwin、RoboCasa及真实机器人上的13个任务中，分布内微调成功率平均提高了9.5个百分点，分布外提高了13.6个百分点，且在所有对比基线中表现最佳，显示出其优越的适应能力和泛化性能。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造及人机协作等。通过提高机器人在新任务中的适应能力，RARA能够促进更灵活的机器人系统发展，提升其在复杂环境中的工作效率和准确性，未来可能对智能制造和服务机器人领域产生深远影响。
📄 摘要（原文）
Pre-trained robot policies, such as Vision-Language-Action (VLA) models, provide a strong foundation for generalist robotic manipulation, but adapting them to new tasks with only a few demonstrations remains challenging. Directly fine-tuning a pre-trained policy often achieves strong in-distribution performance, yet it can distort the representations learned during pre-training and weaken the model's generalization ability under out-of-distribution shifts. We propose Retrieval-Anchored Representation Alignment (RARA), a two-stage adaptation method, to address this issue. First, RARA retrieves representation features from pretraining with similar task intent and motion, and aligns the policy's representations of the target demonstrations with the pre-trained representations of the retrieved demonstrations. Second, RARA fine-tunes the policy on the target demonstrations while limiting how much its representations of the retrieved demonstrations change during fine-tuning. By reducing the representation mismatch before action learning and preserving pre-trained knowledge during adaptation, RARA limits unnecessary representation drift during fine-tuning. Experiments with Diffusion Policy and GR00T on 13 tasks in RoboTwin, RoboCasa, and on a real robot show that RARA improves the average success of fine-tuning by 9.5 points in-distribution and 13.6 points out-of-distribution, and outperforms all compared baselines. Project page: https://shua-kang.github.io/RARA_robot/