Residual Modeling Closes the Regression and Generative Policy Gap in Robot Learning
作者: Yuchen Zhou, Jiacheng You, Weikang Wan, Weijun Dong, Yang Gao, Jiayuan Mao
分类: cs.RO
发布日期: 2026-10-08
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出异方差学生t动作回归以缩小机器人学习中的回归与生成策略差距
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 动作回归 生成策略 多模态示范 异方差建模 学生t分布 流匹配 优化算法
📋 核心要点
- 现有的政策学习方法在处理多模态示范时存在性能差距，特别是直接动作回归方法在优化时受到重尾残差的影响。
- 论文提出的异方差学生t动作回归（HT-Policies）通过学习输入依赖的残差尺度，旨在减少重尾对优化的负面影响。
- 实验结果表明，HT-Policies在多个仿真基准和真实机器人评估中表现出与生成策略相当的成功率，同时训练和推理速度更快。
📝 摘要（中文）
从示范学习中获得的机器人行为表现令人印象深刻。政策学习的常见选择是使用扩散或流匹配（Flow-Policies），其通常优于直接使用均方误差（MSE-Policies）训练的动作回归。我们从统计建模的角度重新审视这一差距，分析动作预测残差如何影响政策优化。对真实世界机器人示范数据的分析显示，残差尺度存在显著的状态依赖性变化，并且具有重尾特性。尽管MSE-Policies和Flow-Policies都表现出重尾动作残差，但它们的训练梯度表现不同：MSE对大残差观察分配了更多的梯度幅度，这对优化造成了负面影响。基于这些发现，我们提出了异方差学生t动作回归（HT-Policies），该方法学习输入依赖的残差尺度，并减少重尾的影响。HT-Policies通过单次前馈传递预测动作块，并可以重用基于流匹配的预训练策略网络作为骨干。通过四个仿真基准和真实机器人评估，HT-Policies在从头训练和从预训练的视觉-语言-动作及世界-动作模型中均达到了与生成策略基线相当的成功率，同时在训练和推理速度上更快。这些发现为机器人学习中的生成目标的实际优势提供了新的视角，并为多种架构和任务提供了高效的直接回归替代方案。
🔬 方法详解
问题定义：本论文旨在解决机器人学习中回归策略与生成策略之间的性能差距，特别是现有方法在处理多模态示范时的不足，尤其是重尾残差对优化的影响。
核心思路：论文提出的HT-Policies通过引入异方差学生t分布来建模动作残差，学习输入依赖的残差尺度，从而减少重尾对训练过程的影响，优化策略学习。
技术框架：HT-Policies的整体架构包括输入数据的处理、残差尺度的学习、动作预测的生成以及与预训练流匹配策略网络的结合。该方法通过单次前馈传递来预测动作块，提高了效率。
关键创新：最重要的技术创新在于引入异方差学生t分布来处理动作残差，这与传统的均方误差方法形成了本质区别，能够更有效地应对重尾问题。
关键设计：在关键设计方面，HT-Policies使用了特定的损失函数来优化残差尺度，并结合了流匹配的预训练网络，确保了在多种任务和架构中的适用性和高效性。通过这些设计，HT-Policies在训练和推理速度上均表现出显著优势。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HT-Policies在四个仿真基准和真实机器人评估中达到了与生成策略基线相当的成功率，且在训练和推理速度上更快，展示了其在机器人学习中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化制造、服务机器人等。通过提高机器人在复杂环境中的学习效率，HT-Policies可以显著提升机器人在实际任务中的表现，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Learning from demonstration has enabled impressive robot behaviors. A common choice for policy learning is to use diffusion or flow matching (Flow-Policies), which often outperforms direct action regression trained with mean squared error (MSE-Policies). This gap is commonly attributed to multimodal demonstrations. We revisit this gap from the perspective of statistical modeling: how action-prediction residuals shape policy optimization. Our analysis of real-world robot demonstration data reveals substantial state-dependent variation in residual scales and heavier-than-Gaussian tails. While both MSE-Policies and Flow-Policies exhibit heavy-tailed action residuals, their training gradients behave differently: MSE allocates more gradient magnitude to observations with large action residuals, which hurts optimization. Motivated by these findings, we introduce heteroscedastic Student-t action regression (HT-Policies), which learns input-dependent residual scales and reduces the influence of heavy tails. HT-Policies predict action chunks with a single feed-forward pass and can reuse pretrained flow-matching-based policy networks as the backbone. Across four simulation benchmarks and real-robot evaluations, HT-Policies achieves success rates competitive with generative policy baselines, both when trained from scratch and from pretrained vision-language-action and world-action models, despite being faster in training and inference. Together, these findings shed light on the practical advantages of generative objectives in robot learning from demonstrations and offer an efficient direct-regression alternative for a range of architectures and tasks. Project page: https://the-labone.github.io/regression-policy-project/