HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

📄 arXiv: 2604.20140v1 📥 PDF

作者: Darsh Kachroo, Adriana Caraeni, Arjun Prasaath Anbazhagan, Brennan Lagasse, Kevin Zhu

分类: cs.AI, cs.LG

发布日期: 2026-04-22

备注: 12 pages, 4 figures, 6 tables. Includes ablation study across Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct on 5 math reasoning benchmarks (GSM8K, MATH500, Minerva, AIME24, Gaokao2023). GPT-4.1 used for structured evaluation of reasoning quality

💡 一句话要点

HiPO：分层偏好优化提升LLM在复杂推理任务中的自适应推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分层偏好优化 大型语言模型 复杂推理 直接偏好优化 数学问题求解

📋 核心要点

  1. DPO在复杂推理中表现不足，因为它缺乏对多步骤推理过程的细粒度反馈。
  2. HiPO将响应分解为推理段，并对每个段进行加权DPO损失优化，实现分段训练。
  3. 实验表明，HiPO微调的7B LLM在数学基准测试中优于DPO，并在逻辑性上有所提升。

📝 摘要（中文）

直接偏好优化(DPO)是使大型语言模型与人类偏好对齐的有效框架，但它在复杂推理任务中表现不佳。DPO优化的是生成完整偏好响应而非非偏好响应的可能性，缺乏对推理任务中多步骤解决方案子部分的细粒度反馈。现有方法擅长稳定的偏好学习(如KTO和RSO等DPO变体)或结构化推理(如ReMA的多智能体RL框架、思维树)，但未能融合这些互补的优势。我们提出了HiPO(分层偏好优化)，它是DPO的扩展，将响应分为推理段(查询澄清和上下文、推理步骤和答案)，并将损失计算为每个段的DPO损失的加权和。我们的方法支持特定段的训练，同时保持DPO的计算效率和训练稳定性。我们证明，对于在Math Stack Exchange偏好数据集上使用HiPO和DPO微调的多个7B LLM，使用HiPO训练的模型在各种常见数学基准测试中优于其他模型，并且在组织性、逻辑流程和一致性方面表现更好，这是由GPT-4.1衡量的。

🔬 方法详解

问题定义：现有直接偏好优化（DPO）方法在处理复杂推理任务时存在局限性。DPO旨在优化整个响应的偏好概率，无法针对推理过程中的各个步骤提供细粒度的反馈。这导致模型难以学习复杂的推理策略，尤其是在需要多个步骤才能得出结论的任务中。现有方法要么侧重于稳定的偏好学习，要么侧重于结构化推理，但缺乏将两者结合的能力。

核心思路：HiPO的核心思路是将推理过程分解为多个逻辑段，例如查询澄清、上下文理解、推理步骤和最终答案。通过对每个段应用DPO损失，并根据其重要性进行加权，HiPO能够更精确地指导模型学习。这种分层偏好优化方法允许模型在推理的各个阶段进行改进，从而提高整体性能。

技术框架：HiPO建立在DPO框架之上，主要流程包括：1) 将模型的输出分解为多个推理段；2) 对每个段计算DPO损失，该损失基于人类对该段的偏好；3) 将所有段的DPO损失加权求和，得到最终的损失函数；4) 使用该损失函数对模型进行微调。该框架保持了DPO的计算效率和训练稳定性，同时引入了分层偏好优化的机制。

关键创新：HiPO的关键创新在于引入了分层偏好优化的概念，将DPO从整体响应优化扩展到推理过程的各个阶段。与传统的DPO方法相比，HiPO能够提供更细粒度的反馈，从而更有效地指导模型学习复杂的推理策略。此外，HiPO还能够灵活地调整不同推理段的权重，以适应不同的任务需求。

关键设计：HiPO的关键设计包括：1) 如何将模型的输出分解为有意义的推理段；2) 如何确定每个推理段的权重，这可能需要根据任务的特点进行调整；3) 如何设计损失函数，以确保模型能够有效地学习人类的偏好。论文中使用了Math Stack Exchange数据集，并使用GPT-4.1来评估模型的组织性、逻辑流程和一致性。

📊 实验亮点

实验结果表明，使用HiPO微调的7B LLM在多个数学基准测试中优于使用DPO微调的模型。具体而言，HiPO在组织性、逻辑流程和一致性方面表现更好，这些指标由GPT-4.1评估。这些结果表明，HiPO能够有效地提高模型在复杂推理任务中的性能。

🎯 应用场景

HiPO可应用于需要复杂推理能力的各种场景，如数学问题求解、代码生成、科学研究等。通过对推理过程进行分层优化，HiPO能够提高模型在这些任务中的准确性和可靠性。此外，HiPO还可以用于个性化推荐系统，根据用户的偏好对推荐结果进行分层优化，从而提高用户满意度。

📄 摘要（原文）

Direct Preference Optimization (DPO) is an effective framework for aligning large language models with human preferences, but it struggles with complex reasoning tasks. DPO optimizes for the likelihood of generating preferred over dispreferred responses in their entirety and lacks the granularity to provide feedback on subsections of many-step solutions typical of reasoning tasks. Existing methods excel at either stable preference learning (e.g., DPO variants like KTO and RSO) or structured reasoning (e.g., ReMA's multi-agent RL framework, Tree of Thoughts), but fail to merge these complementary strengths. We propose HiPO (Hierarchical Preference Optimization), an extension of DPO that separates responses into reasoning segments (query clarification and context, reasoning steps, and answer) and computes loss as a weighted sum of the DPO loss for each segment. Our approach enables segment-specific training while maintaining DPO's computational efficiency and training stability. We demonstrate that for multiple 7B LLMs fine-tuned using HiPO and DPO on the Math Stack Exchange preference dataset, the models trained with HiPO outperform the others on a variety of common math benchmarks and achieve greater organization, logical flow, and consistency as measured by GPT-4.1.