Enhancing RLHF with Human Gaze Modeling

📄 arXiv: 2507.09016v2 📥 PDF

作者: Karim Galliamov, Ivan Titov, Ilya Pershin

分类: cs.LG

发布日期: 2025-07-11 (更新: 2025-07-16)

💡 一句话要点

利用人类眼动建模增强RLHF，加速语言模型对齐人类偏好

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类反馈 眼动追踪 语言模型 奖励模型

📋 核心要点

  1. RLHF虽然能使语言模型与人类偏好对齐，但计算成本高昂，限制了其应用。
  2. 该论文提出利用人类眼动数据，构建眼动感知的奖励模型和token级别的稀疏奖励分配机制，以提升RLHF效率。
  3. 实验表明，结合眼动信息的RLHF能加速收敛，同时保持或略微提升性能，有效降低计算成本。

📝 摘要（中文）

本文探索了利用人类眼动建模来增强基于人类反馈的强化学习（RLHF）的两种方法，旨在降低RLHF的计算成本。第一种方法是使用眼动感知的奖励模型，第二种方法是基于眼动信息在token级别上进行稀疏奖励的分配。实验结果表明，眼动信息指导的RLHF能够在保持或略微提升性能的同时，实现更快的收敛速度，从而降低策略优化过程中的计算成本。这些结果表明，人类眼动提供了一种有价值且未被充分利用的信号，为提高RLHF效率提供了一个有希望的方向。

🔬 方法详解

问题定义：现有RLHF方法在训练过程中需要大量的人工标注数据和计算资源，尤其是在策略优化阶段，计算成本非常高昂。这限制了RLHF在更大规模模型和更复杂任务上的应用。因此，如何降低RLHF的计算成本，同时保持甚至提升模型性能，是一个重要的研究问题。

核心思路：论文的核心思路是利用人类眼动数据作为一种额外的监督信号，来指导RLHF的训练过程。人类的眼动行为可以反映其对文本内容的关注程度和理解程度，因此可以用来更有效地评估语言模型的输出质量，并加速策略优化过程。通过将眼动信息融入奖励模型和奖励分配机制中，可以使模型更快地学习到人类的偏好。

技术框架：整体框架包括以下几个主要模块：1) 数据收集：收集人类对语言模型输出的眼动数据。2) 眼动感知奖励模型：利用眼动数据训练一个奖励模型，该模型能够根据语言模型的输出和对应的眼动数据，预测人类的偏好。3) 基于眼动的稀疏奖励分配：根据眼动数据，在token级别上对语言模型的输出进行奖励分配，更关注人类关注的token。4) 策略优化：使用强化学习算法，根据奖励模型的输出和稀疏奖励，优化语言模型的策略。

关键创新：论文的关键创新在于将人类眼动数据融入到RLHF的训练过程中，提出了两种新的方法：眼动感知的奖励模型和基于眼动的稀疏奖励分配。这两种方法都能够有效地利用眼动信息，来指导语言模型的训练，并加速策略优化过程。与传统的RLHF方法相比，该方法能够更有效地利用人类的反馈信息，从而降低计算成本。

关键设计：在眼动感知奖励模型中，可以使用不同的神经网络结构来融合语言模型的输出和眼动数据，例如，可以使用Transformer网络来同时处理文本和眼动特征。在基于眼动的稀疏奖励分配中，可以使用不同的策略来确定哪些token应该获得奖励，例如，可以根据眼动注视的持续时间和频率来确定奖励的大小。损失函数的设计需要考虑如何平衡奖励模型的准确性和策略优化的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与传统的RLHF方法相比，结合眼动信息的RLHF能够显著加速收敛速度，同时保持或略微提升性能。具体来说，在相同的训练时间内，眼动感知的奖励模型能够达到更高的奖励值，而基于眼动的稀疏奖励分配能够使模型更快地学习到人类的偏好。这些结果表明，人类眼动是一种有价值的信号，可以有效地提升RLHF的效率。

🎯 应用场景

该研究成果可应用于各种需要与人类偏好对齐的语言模型任务，例如对话系统、文本摘要、机器翻译等。通过降低RLHF的计算成本，可以使更大规模的模型和更复杂的任务能够受益于人类反馈，从而提升模型的性能和用户体验。此外，该研究也为其他利用人类行为数据来指导模型训练的研究提供了借鉴。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) aligns language models with human preferences but is computationally expensive. We explore two approaches that leverage human gaze modeling to enhance RLHF: (1) gaze-aware reward models and (2) gaze-based distribution of sparse rewards at token level. Our experiments demonstate that gaze-informed RLHF achieves faster convergence while maintaining or slightly improving performance, thus, reducing computational costs during policy optimization. These results show that human gaze provides a valuable and underused signal for policy optimization, pointing to a promising direction for improving RLHF efficiency.