State Diversity Matters in Offline Behavior Distillation

📄 arXiv: 2512.06692v1 📥 PDF

作者: Shiye Lei, Zhihao Cheng, Dacheng Tao

分类: cs.LG

发布日期: 2025-12-07

备注: 12 pages, 5 figures, 5 tables

💡 一句话要点

提出状态密度加权离线行为蒸馏算法，提升状态多样性以改善策略学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 行为蒸馏 状态多样性 状态密度加权 策略学习

📋 核心要点

  1. 现有离线行为蒸馏方法在原始数据集和蒸馏数据集之间存在不一致性，高质量原始数据不一定产生高质量的蒸馏数据集。
  2. 论文提出状态密度加权(SDW) OBD算法，通过状态密度倒数加权蒸馏目标，从而强调状态多样性，提升合成数据集的质量。
  3. 在D4RL数据集上的实验表明，当原始数据集状态多样性有限时，SDW算法能显著提升OBD性能。

📝 摘要（中文）

离线行为蒸馏(OBD)旨在将大规模离线强化学习数据压缩成紧凑的合成行为数据集，为高效策略训练提供了一种有前景的方法，并可应用于各种下游强化学习任务。本文揭示了原始数据集和蒸馏数据集之间的不一致性，观察到高质量的原始数据集不一定产生更优越的合成数据集。通过对不同训练损失水平下的策略性能进行实证分析，我们发现，当训练损失较大时（OBD中通常如此），具有更大状态多样性的数据集优于具有更高状态质量的数据集；而当损失极小时，这种关系会逆转，这导致了不一致性。通过将状态质量和多样性分别与减少关键误差和周围误差相关联，我们的理论分析表明，当关键误差较大时，周围误差在策略性能中起着更关键的作用，从而突出了状态多样性在OBD场景中的重要性。此外，我们提出了一种新颖而简单的算法，即状态密度加权(SDW) OBD，它通过使用状态密度的倒数来加权蒸馏目标，从而强调状态多样性，从而将更多样化的状态信息蒸馏到合成数据中。在多个D4RL数据集上进行的大量实验证实，当原始数据集表现出有限的状态多样性时，SDW显著提高了OBD性能。

🔬 方法详解

问题定义：离线行为蒸馏(OBD)旨在利用大规模离线数据训练策略，但现有方法存在一个问题：即使原始数据集质量很高，蒸馏得到的合成数据集的质量也可能不高，导致最终策略性能不佳。这表明原始数据集的质量与蒸馏数据集的质量之间存在错位。现有方法忽略了状态多样性对蒸馏数据集质量的影响。

核心思路：论文的核心思路是强调状态多样性在离线行为蒸馏中的重要性。作者认为，当训练损失较大时（OBD中常见情况），状态多样性比状态质量更重要。通过增加蒸馏数据集中状态的多样性，可以提高策略在训练损失较大时的性能。

技术框架：论文提出的SDW-OBD算法的整体框架与标准的OBD框架类似，主要区别在于损失函数的计算方式。标准的OBD算法直接最小化蒸馏策略与行为克隆策略之间的差异。而SDW-OBD算法在计算损失时，会根据状态密度对损失进行加权。状态密度高的状态，其损失权重较低；状态密度低的状态，其损失权重较高。

关键创新：论文的关键创新在于提出了状态密度加权(SDW)的概念，并将其应用于离线行为蒸馏中。通过状态密度加权，SDW-OBD算法能够有效地增加蒸馏数据集中状态的多样性，从而提高策略的性能。与现有方法相比，SDW-OBD算法更加关注状态多样性，而不是仅仅关注状态质量。

关键设计：SDW-OBD算法的关键设计在于状态密度的计算和损失函数的加权方式。状态密度可以通过K近邻算法等方法进行估计。损失函数的加权方式为：将每个状态的损失乘以该状态密度的倒数。具体来说，如果状态s的密度为ρ(s)，则该状态的损失权重为1/ρ(s)。这种加权方式可以有效地增加低密度状态的权重，从而增加蒸馏数据集中状态的多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在多个D4RL数据集上，SDW-OBD算法显著提高了离线行为蒸馏的性能。尤其是在原始数据集状态多样性有限的情况下，SDW-OBD算法的提升更加明显。例如，在某些数据集上，SDW-OBD算法可以将策略的性能提高10%以上。

🎯 应用场景

该研究成果可应用于各种需要利用离线数据进行策略训练的强化学习任务中，例如机器人控制、自动驾驶、游戏AI等。通过离线行为蒸馏，可以将大规模的离线数据压缩成紧凑的合成数据集，从而降低策略训练的计算成本和时间成本。状态密度加权的方法可以进一步提高离线行为蒸馏的性能，尤其是在原始数据集状态多样性有限的情况下。

📄 摘要（原文）

Offline Behavior Distillation (OBD), which condenses massive offline RL data into a compact synthetic behavioral dataset, offers a promising approach for efficient policy training and can be applied across various downstream RL tasks. In this paper, we uncover a misalignment between original and distilled datasets, observing that a high-quality original dataset does not necessarily yield a superior synthetic dataset. Through an empirical analysis of policy performance under varying levels of training loss, we show that datasets with greater state diversity outperforms those with higher state quality when training loss is substantial, as is often the case in OBD, whereas the relationship reverses under minimal loss, which contributes to the misalignment. By associating state quality and diversity in reducing pivotal and surrounding error, respectively, our theoretical analysis establishes that surrounding error plays a more crucial role in policy performance when pivotal error is large, thereby highlighting the importance of state diversity in OBD scenario. Furthermore, we propose a novel yet simple algorithm, state density weighted (SDW) OBD, which emphasizes state diversity by weighting the distillation objective using the reciprocal of state density, thereby distilling a more diverse state information into synthetic data. Extensive experiments across multiple D4RL datasets confirm that SDW significantly enhances OBD performance when the original dataset exhibits limited state diversity.