HaPRL: Human-Anchored Process Reinforcement Learning for Visual Search Agent

📄 arXiv: 2609.37190v1 📥 PDF

作者: Zhangquan Chen, Yaoxin Niu, Xiang An, Mingze Sun, Zhumei Wang, Chih-Ting Liao, Hongkun Cao, Ruqi Huang

分类: cs.CV

发布日期: 2026-09-29

备注: 24 pages, 9 figures. Code: https://github.com/zhangquanchen/HAPRL

💡 一句话要点

提出HaPRL框架以解决视觉搜索代理的训练效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉搜索 强化学习 人类行为 过程监督 模型训练 智能代理 数据注释

📋 核心要点

  1. 现有的视觉搜索代理训练方法仅依赖最终答案的奖励，导致搜索过程缺乏有效监督，常出现错误推理路径。
  2. 本文提出HaPRL框架，通过人类搜索行为的注释数据来强化搜索过程，提升训练效果。
  3. 实验表明，HaPRL在性能上超越传统的结果导向强化学习，早期过程监督显著提升后续结果的表现。

📝 摘要（中文）

多轮视觉搜索代理通过迭代决策观察高分辨率图像来回答问题。现有的强化学习方法仅对最终答案进行奖励，导致搜索过程缺乏监督，常出现错误推理路径却得到正确结果的情况，从而影响训练效果。本文提出了HaPRL框架，首次通过人类搜索行为强化搜索过程。我们构建了一个注释平台，收集了1000多条带有细粒度行为信号的人类注释数据。在训练过程中，设计了一个评估机制，根据人类注释者的搜索轨迹为每次搜索评分。实验结果表明，HaPRL在性能上显著优于基于结果的强化学习，早期过程监督在后续结果提升中带来了6.7倍的改进，强调了模型行为与人类过程注释信号对齐的重要性。

🔬 方法详解

问题定义：本文旨在解决现有视觉搜索代理训练中缺乏对搜索过程的有效监督的问题。现有方法仅奖励最终答案，导致错误推理路径的出现，影响训练效果。

核心思路：HaPRL框架通过引入人类搜索行为的注释数据，强化搜索过程的训练。通过对比人类的搜索轨迹，模型能够更好地学习有效的搜索策略。

技术框架：该框架包括数据收集、行为注释、训练过程中的评估机制等主要模块。首先构建注释平台，收集人类搜索数据，然后在训练中使用这些数据进行过程监督。

关键创新：HaPRL的创新在于首次将人类搜索行为与强化学习相结合，通过过程监督提升模型的训练效率，显著改善了搜索代理的性能。

关键设计：在训练过程中，设计了一个任务自适应的评分机制，根据人类注释者的搜索轨迹为每次搜索评分，确保模型学习到有效的搜索策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HaPRL框架在性能上显著优于传统的结果导向强化学习方法，早期过程监督带来了6.7倍的性能提升，证明了人类搜索行为对模型训练的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、自动化图像分析和人机交互等。通过提高视觉搜索代理的训练效率，能够在实际应用中实现更高的准确性和响应速度，推动相关技术的发展与应用。

📄 摘要（原文）

Multi-turn visual search agents answer questions about high-resolution images by iteratively deciding where to look. Reinforcement learning for these agents rewards only the final answer, leaving the search process unsupervised. Consequently, faulty routes in which the reasoning process is erroneous yet the final result is correct arise frequently, which in turn leads to ineffective training, i.e., scaling along the wrong paths. In this paper, we introduce HaPRL, the first framework to reinforce the search process with human search behavior. We first build an annotation platform and collect 1K+ human-annotated data with fine-grained behavioral signals. During training, a carefully designed judge scores each rollout with task-adaptive weights, anchored on the distilled trace of how a human annotator actually searched the same image. Extensive experiments show that HaPRL consistently outperforms outcome-based RL, and early-stage process supervision yields 6.7x more improvement in subsequent outcome-based scaling. Our results also demonstrate the importance of aligning model behavior with human process annotation signals, which offer new insight into the training of foundation models.