Group Causal Policy Optimization for Post-Training Large Language Models

📄 arXiv: 2508.05428v1 📥 PDF

作者: Ziyin Gu, Jingyao Wang, Ran Zuo, Chuxiong Sun, Zeen Song, Changwen Zheng, Wenwen Qiang

分类: cs.LG

发布日期: 2025-08-07

💡 一句话要点

提出Group Causal Policy Optimization (GCPO)以提升后训练大语言模型在推理任务上的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 后训练 因果推断 策略优化 结构因果模型 强化学习 推理任务

📋 核心要点

  1. 现有GRPO方法忽略了候选响应之间的语义交互（如互补和矛盾），导致优化效果受限。
  2. GCPO通过引入结构因果模型（SCM）来建模候选响应之间的依赖关系，并利用因果分析指导策略优化。
  3. 实验结果表明，GCPO在多个推理基准上显著优于GRPO等现有方法，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）的最新进展拓宽了它们在各种任务中的适用性，但特定领域仍然需要有针对性的后训练。在现有方法中，Group Relative Policy Optimization (GRPO) 以其效率脱颖而出，它利用分组相对奖励，同时避免了昂贵的价值函数学习。然而，GRPO 将候选响应视为独立的，忽略了语义交互，例如互补性和矛盾性。为了解决这个挑战，我们首先引入了一个结构因果模型（SCM），该模型揭示了由最终集成输出形成的对撞机结构所引起的候选响应之间的隐藏依赖关系。然后，我们的因果分析产生了两个见解：（1）将响应投影到因果相关的子空间可以提高预测质量，（2）这种投影产生了比仅查询条件更好的基线。基于这些见解，我们提出了 Group Causal Policy Optimization (GCPO)，它通过两个关键组件将因果结构集成到优化中：因果相关的奖励调整和一种新颖的 KL 正则化项，该正则化项将策略与因果投影的参考分布对齐。全面的实验评估表明，GCPO 始终优于现有方法，包括 GRPO 在多个推理基准上。

🔬 方法详解

问题定义：论文旨在解决后训练大语言模型时，现有方法（如GRPO）忽略候选响应之间语义关联的问题。GRPO将候选响应视为独立个体，无法有效捕捉它们之间的互补、矛盾等关系，导致模型在复杂推理任务上的性能提升受限。

核心思路：论文的核心思路是利用因果推断来建模候选响应之间的依赖关系。通过构建结构因果模型（SCM），揭示响应之间的隐藏依赖，并利用因果分析指导策略优化，从而更有效地利用候选响应的信息，提升模型性能。

技术框架：GCPO的整体框架包括以下几个主要步骤：1) 构建结构因果模型（SCM）来表示候选响应之间的因果关系；2) 利用因果分析，将响应投影到因果相关的子空间，以提高预测质量；3) 设计因果相关的奖励调整机制，鼓励模型生成符合因果关系的响应；4) 引入KL正则化项，将策略与因果投影的参考分布对齐。

关键创新：GCPO的关键创新在于将因果推断引入到后训练大语言模型的策略优化中。与现有方法不同，GCPO不再将候选响应视为独立的，而是通过SCM建模它们之间的依赖关系，并利用因果分析指导策略学习。这种方法能够更有效地利用候选响应的信息，从而提升模型性能。

关键设计：GCPO的关键设计包括：1) 结构因果模型（SCM）的具体结构，需要根据具体任务进行设计；2) 因果投影的具体方法，例如使用Do-calculus进行干预模拟；3) 因果相关的奖励调整机制，需要根据因果关系进行设计，以鼓励模型生成符合因果关系的响应；4) KL正则化项的系数，需要通过实验进行调整，以平衡策略优化和与参考分布的对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GCPO在多个推理基准上显著优于现有方法，包括GRPO。例如，在某些基准测试中，GCPO的性能提升超过了5%。这些结果验证了GCPO方法的有效性，表明通过引入因果推断可以更有效地提升后训练大语言模型的性能。

🎯 应用场景

GCPO方法可应用于各种需要对大型语言模型进行后训练的场景，尤其是在需要复杂推理和决策的任务中，例如问答系统、对话生成、文本摘要、代码生成等。该方法能够提升模型在特定领域的性能，使其更好地适应实际应用需求，具有广泛的应用前景。

📄 摘要（原文）

Recent advances in large language models (LLMs) have broadened their applicability across diverse tasks, yet specialized domains still require targeted post training. Among existing methods, Group Relative Policy Optimization (GRPO) stands out for its efficiency, leveraging groupwise relative rewards while avoiding costly value function learning. However, GRPO treats candidate responses as independent, overlooking semantic interactions such as complementarity and contradiction. To address this challenge, we first introduce a Structural Causal Model (SCM) that reveals hidden dependencies among candidate responses induced by conditioning on a final integrated output forming a collider structure. Then, our causal analysis leads to two insights: (1) projecting responses onto a causally informed subspace improves prediction quality, and (2) this projection yields a better baseline than query only conditioning. Building on these insights, we propose Group Causal Policy Optimization (GCPO), which integrates causal structure into optimization through two key components: a causally informed reward adjustment and a novel KL regularization term that aligns the policy with a causally projected reference distribution. Comprehensive experimental evaluations demonstrate that GCPO consistently surpasses existing methods, including GRPO across multiple reasoning benchmarks.