A Geometric Approach to Soft Actor-Critic with Zonotopes for Locomotion Learning

📄 arXiv: 2610.12113v1 📥 PDF

作者: Panagiotis Roditis, Panagiotis P. Filntisis, Petros Maragos

分类: cs.LG, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出GeZo-SAC以解决演员-评论家方法中的过估计偏差问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 演员-评论家 运动学习 几何表示 过估计偏差 强化学习 机器人控制 MuJoCo

📋 核心要点

  1. 现有的演员-评论家方法在处理评论家之间的意见不一致时，未能有效地调整评论家的悲观程度，导致过估计偏差。
  2. 本文提出的GeZo-SAC通过引入几何表示，动态调整评论家的悲观程度，利用区域体的几何宽度来优化评论家值的组合。
  3. 在四个MuJoCo-v5的运动基准测试中，GeZo-SAC在Ant-v5和Hopper-v5上实现了最高的平均回报，并在其他任务中保持竞争力。

📝 摘要（中文）

现有的离线演员-评论家方法通过取两个评论家的最小值来控制过估计偏差，但这种方法在评论家意见不一致时并未考虑其差异。本文提出了GeZo-SAC，利用辅助几何表示来根据状态和动作调整评论家的悲观程度。每个评论家除了预测标量值外，还预测一组生成器定义的区域体。通过沿采样方向探测该区域体，提供几何宽度，并从每个评论家值中减去作为悲观偏移量，从而控制评论家的组合方式。实验结果表明，GeZo-SAC在多个基准测试中表现优异，尤其在Ant-v5和Hopper-v5上取得了最高的平均回报。

🔬 方法详解

问题定义：本文旨在解决现有离线演员-评论家方法在处理评论家之间意见不一致时的过估计偏差问题。现有方法使用统一的聚合规则，未能有效反映评论家的不一致性。

核心思路：GeZo-SAC通过引入几何表示，利用区域体的生成器来动态调整评论家的悲观程度。每个评论家不仅预测标量值，还预测定义区域体的生成器，从而在训练过程中更好地控制评论家的组合。

技术框架：GeZo-SAC的整体架构包括两个主要模块：评论家模块和演员模块。评论家模块负责生成评论家值及其几何表示，而演员模块则在推理阶段使用未修改的SAC演员。

关键创新：GeZo-SAC的核心创新在于引入了几何宽度的概念，通过对评论家值进行悲观偏移，动态调整评论家的组合方式。这一方法与传统的最小值聚合方法本质上不同，能够更好地反映评论家之间的差异。

关键设计：在设计中，关键参数包括生成器的数量和区域体的定义方式。损失函数的设计考虑了评论家之间的差异性，通过log-sum-exp聚合方式来优化评论家的组合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个MuJoCo-v5的运动基准测试中，GeZo-SAC在Ant-v5和Hopper-v5上实现了最高的平均回报，并在其他任务中保持竞争力。此外，该方法在所有环境中实现了最低的平均执行器工作和每米动作努力，同时保持近零的过估计频率。

🎯 应用场景

GeZo-SAC的研究成果在机器人运动学习、自动驾驶和智能控制等领域具有广泛的应用潜力。通过提高学习效率和控制精度，该方法能够为复杂环境中的决策制定提供更为可靠的支持，推动相关技术的进步与应用。

📄 摘要（原文）

Off-policy actor--critic methods control overestimation bias by taking the minimum of two critics. This uses the same aggregation rule everywhere, regardless of how the critics disagree. We propose \textbf{GeZo-SAC}, which uses auxiliary geometric representations to adapt critic pessimism to the state and action. Alongside its scalar value, each critic predicts a set of generators defining a zonotope. Probing this zonotope along sampled directions provides a geometric width, "subtracted from each critic value as a pessimistic offset, and a measure of disagreement between the two critics, aggregated with log-sum-exp. This disagreement controls how the critics are combined, moving from a width-weighted average toward the usual minimum as disagreement increases. At inference, the deployed policy is an unmodified SAC actor, since the generators are used only on the critic side during training.Across four MuJoCo-v5 locomotion benchmarks and six off-policy baselines, GeZo-SAC achieves the highest mean return on Ant-v5 and Hopper-v5 and remains competitive with other methods on the remaining tasks. Our analysis further shows that GeZo-SAC achieves the lowest average actuator work and action effort per metre among the evaluated methods, while maintaining near-zero measured overestimation frequency across all four environments.