Beyond Reward Hacking: Proxy Divergence Across Four Layers of a Staged Humanoid Learning Pipeline
作者: Arunabh Bora
分类: cs.RO
发布日期: 2026-10-02
💡 一句话要点
提出四层代理收敛机制以解决奖励黑客问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 机器人控制 奖励黑客 课程学习 评估统计 人形机器人 代理机制
📋 核心要点
- 现有方法仅关注奖励作为优化目标，忽视其他代理的潜在偏差，导致奖励黑客现象。
- 论文提出将四个层次的代理视为同等重要，针对每一层的偏差机制进行重新构建和优化。
- 实验结果表明，新的课程门控和评估方法在不同阶段的学习中显著提升了机器人的技能表现。
📝 摘要（中文）
本文构建了一个针对四层代理的强化学习（RL）管道，应用于腿部机器人。传统观点仅将奖励视为优化目标，导致奖励黑客现象。本文认为所有四个层次都是代理，并各自具有特征性偏差机制。通过对每一层的传统公式进行推导，提出了替代方案，包括一阶成本、课程门控、评估统计等，旨在提高机器人学习的有效性和鲁棒性。实验基于PPO策略在模拟人形机器人上的应用，展示了新方法的有效性。
🔬 方法详解
问题定义：本文旨在解决传统强化学习管道中仅优化奖励导致的奖励黑客问题。现有方法未能考虑课程门控、评估统计和参考动作等其他代理的影响。
核心思路：论文提出将所有四个层次的代理视为优化目标，分析其各自的偏差机制，并提出相应的替代方案，以提高学习的有效性和鲁棒性。
技术框架：整体架构包括四个主要模块：奖励代理、课程门控、评估统计和参考动作。每个模块都有其特定的优化目标和偏差机制。
关键创新：最重要的创新在于将课程门控和评估统计纳入优化框架，提出了一阶成本和信息检查等新方法，突破了传统方法的局限。
关键设计：在设计中，采用了一阶（L1）成本来替代二次核，课程门控通过平均误差进行优化，评估统计则考虑了确定性和相位去同步化，确保了模型的可行性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于新方法的课程门控在每次检查时以其速率限制推进，而被门控的技能在某些情况下缺失。此外，批处理推力测试表明，同步重置的相位别名使得0.5 m/s的推力被评估为比2.0 m/s更危险，揭示了评估统计的潜在问题。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和人机交互等。通过优化学习管道中的各个代理，能够显著提升机器人的学习效率和适应能力，推动智能机器人在复杂环境中的应用。未来可能影响机器人自主学习和适应新任务的能力。
📄 摘要（原文）
A reinforcement-learning (RL) pipeline for a legged robot is assembled from proxies. A reward stands in for intended behaviour, a curriculum gate stands in for competence, an evaluation statistic stands in for robustness, and a reference motion stands in for an achievable skill. The traditional view treats only the first of these as optimised against, and so locates specification failure (reward hacking) in the reward alone. I argue that all four are proxies in the same formal sense, that each has a characteristic divergence mechanism, and that each admits a reformulation that closes it. For every layer I state the traditional formulation, derive the condition under which it diverges from its target, and give the alternative: first-order (L1) costs where quadratic kernels are flat, peak and outcome statistics where curriculum gates average, gate reachability and information checks, deterministic and phase-desynchronised evaluation, curriculum state treated as part of the model, feasibility-first reference design with residual feed-forward, and function-preserving input widening that lets one policy grow instead of being retrained. The arguments are illustrated by measurements from one continuous lineage of a PPO policy for a simulated 1.91 m humanoid, grown over four stages and 13,500 iterations on a single laptop GPU. Among them, a curriculum gate built on averaged error advanced at its rate limit on every check while the skill it gated was absent, and a batched push test whose synchronised resets aliased the gait phase ranked a 0.5 m/s push as more dangerous than a 2.0 m/s one.