Bellman Meets Lyapunov: Unsupervised Reinforcement Learning via Mastering Chaos

📄 arXiv: 2610.02012v1 📥 PDF

作者: Tristan Shah, Wooyoung Chung, Volodomyr Makarenko, Juan Wachs, Stas Tiomkin

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出F-CIP以解决无监督强化学习中的奖励信号设计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督强化学习 内在动机 可控信息生产 机器人行为 奖励信号设计

📋 核心要点

  1. 现有的无监督强化学习方法依赖于设计奖励信号，限制了其应用的灵活性和普适性。
  2. 本文提出F-CIP，作为一种无监督强化学习的新目标，完全基于系统动态，消除了对领域知识的依赖。
  3. 实验表明，使用F-CIP训练的代理能够无监督地学习到基本行为，并在简单奖励下实现复杂的协调步态。

📝 摘要（中文）

强化学习（RL）是一种强大的训练代理的范式，但其成功依赖于人类工程师设计的任务奖励信号。无监督强化学习旨在通过内在动机（IM）减少这种工程需求，然而现有的IM目标仍需选择信息变量，重新引入了领域专业知识。本文提出了前向可控信息生产（F-CIP），这是一种仅由系统动态定义的RL原生目标，无需选择信息变量。我们证明了F-CIP与RL的兼容性，并展示了其在现有算法中的有效性。使用F-CIP训练的代理能够无监督地发现基本行为，如平衡和保持可控性，这些行为对于更复杂的机器人行为至关重要。结合简单的前向速度奖励，我们的方法能够产生协调的步态，如跳跃和奔跑，这些行为通常需要奖励工程才能学习。

🔬 方法详解

问题定义：本文旨在解决无监督强化学习中对奖励信号设计的依赖问题。现有方法需要领域专家选择信息变量，限制了其广泛应用。

核心思路：论文提出的F-CIP目标完全基于系统的动态特性，避免了对外部奖励信号的依赖，从而实现了内在动机的自动生成。

技术框架：F-CIP的整体架构包括动态系统建模、内在动机生成和行为学习三个主要模块。代理通过与环境的交互，自动生成奖励信号并学习基本行为。

关键创新：F-CIP的最大创新在于其不需要选择信息变量，完全依赖于系统动态，这与传统方法形成鲜明对比，后者往往需要大量的领域知识。

关键设计：在实现F-CIP时，设计了特定的损失函数以优化内在动机的生成，并采用了适应性网络结构来捕捉系统动态特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用F-CIP训练的代理能够无监督地学习到平衡和可控性等基本行为，并在简单的前向速度奖励下实现协调的跳跃和奔跑步态。这些行为的学习无需复杂的奖励工程，展示了F-CIP的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等。通过减少对人工设计奖励信号的依赖，F-CIP能够加速代理的训练过程，提高其在复杂环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) is a powerful paradigm for training agents, yet its success rests on domain expertise of human engineers who design informative reward signals for every new task. Unsupervised RL aims to reduce this engineering with intrinsic motivation (IM): reward signals that emerge from the agent environment interaction itself. Existing IM objectives, however, involve the selection of information variables, which re-introduces domain expertise the field has sought to eliminate. We introduce Forward CIP (F-CIP), an RL-native formulation of the Controllable Information Production (CIP) objective, which is defined by the system's dynamics alone and requires no such selection. We prove that F-CIP is compatible with RL and demonstrate its effectiveness with existing algorithms. Training agents with F-CIP results in unsupervised discovery of primitive behaviors such as balancing and maintaining controllability, which are essential for more complex robot behaviors. Paired with a simple forward-velocity reward, our method produces coordinated gaits such as hopping and running which otherwise require reward engineering to learn.