SAGE: Safety-Aligned Gradient Enforcement for Human--Robot Collaboration

📄 arXiv: 2609.21130v1 📥 PDF

作者: Yisen Li, Hao Zhang, Ruize Geng, Yves Tseng, Ding Zhao, H. Eric Tseng

分类: cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出SAGE以解决人机协作中的安全性与可解释性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协作 安全性 可解释性 强化学习 控制障碍函数 李雅普诺夫优化 多智能体系统

📋 核心要点

  1. 现有方法在多方人机协作中难以同时满足可解释性与安全性，导致决策与执行之间的矛盾。
  2. 论文提出SAGE，通过SAIL和TALO解决学习不匹配问题，确保安全约束在多智能体环境中的有效执行。
  3. 实验结果显示，SAGE在九个仿真场景中实现71.0%的成功率，且每千步环境步骤的碰撞次数仅为0.5，显著提升了安全性与效率。

📝 摘要（中文）

多方人机协作面临双重挑战：机器人决策需保持可解释性和可审计性，同时执行的动作必须满足安全约束。结合可解释的决策树策略与控制障碍函数（CBF）过滤提供了一种有前景的架构，但在多智能体强化学习中产生了两个学习不匹配。本文提出的安全对齐梯度强化（SAGE）解决了这两个不匹配问题。其内部化层（SAIL）使用可微分的有限惩罚提议映射，同时保留精确的CBF二次规划以执行，保持约束的正常敏感性。团队平均的李雅普诺夫策略优化（TALO）构建了团队意识的更新参考，并应用李雅普诺夫半空间修正来调节独立的演员更新。通过与两个人形机器人和人类合作伙伴的物理实验验证了其可部署性。

🔬 方法详解

问题定义：本文旨在解决多方人机协作中机器人决策的可解释性与执行安全性之间的矛盾。现有方法在执行过程中，安全约束与决策优化存在不匹配，导致安全性降低。

核心思路：论文提出的SAGE方法通过引入SAIL和TALO，分别解决安全约束的内部化与团队更新一致性问题，从而实现安全与效率的平衡。

技术框架：SAGE的整体架构包括两个主要模块：SAIL负责安全约束的内部化，使用可微分的有限惩罚提议映射；TALO则构建团队意识的更新参考，应用李雅普诺夫半空间修正。

关键创新：SAGE的核心创新在于同时解决了安全投影与团队更新不一致的问题，确保了多智能体环境中安全约束的有效执行，与传统方法相比，显著提升了安全性与决策效率。

关键设计：SAIL设计了有限惩罚提议映射，保持了CBF的二次规划执行；TALO通过李雅普诺夫半空间修正来调节独立演员的更新，确保团队更新的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAGE在九个仿真场景中实现了71.0%的成功率，每千步环境步骤的碰撞次数仅为0.5。对比实验显示，直接CBF过滤将碰撞频率降低了98.5%，但成功率从67.3%降至59.3%。SAIL减少了48.8%的提议违规，TALO则缩小了更新一致性差距50.8%。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人以及医疗辅助等人机协作场景。通过提升机器人在复杂环境中的安全性与可解释性，能够有效增强人机协作的信任度与效率，推动智能机器人在实际应用中的广泛部署。

📄 摘要（原文）

Multi-party human-robot collaboration poses a dual challenge: robot decisions should remain interpretable and auditable, while executed actions must satisfy safety constraints during physical interaction. Combining explainable decision-tree policies with control-barrier-function (CBF) filtering provides a promising architecture but creates two learning mismatches in multi-agent reinforcement learning. Safety projection changes the action applied to the environment, while the coupled proposal graph can misalign independently optimized actor updates with a team-level update. We present safety-aligned gradient enforcement (SAGE) to address both mismatches. Its shield-annealed internalization layer (SAIL) uses a differentiable finite-penalty proposal map while retaining the exact CBF quadratic program for execution, preserving constraint-normal sensitivity to internalize repeatedly active safety constraints. Team-averaged Lyapunov policy optimization (TALO) constructs a team-aware update reference and applies a Lyapunov half-space correction to regulate independent actor updates. Physical experiments with two humanoid robots and a human partner demonstrate deployment feasibility. Across nine simulation scenarios, SAGE achieves a 71.0% success rate with 0.5 collision steps per thousand environment steps. Ablations show that direct CBF filtering reduces collision frequency by 98.5% but decreases success from 67.3% to 59.3%. SAIL reduces proposal violation by 48.8% and proposal-execution correction by 85.2%, while TALO reduces the update-consistency gap by 50.8%.