Generalization of RLVR Using Causal Reasoning as a Testbed

📄 arXiv: 2512.20760v1 📥 PDF

作者: Brian Lu, Hongyu Zhao, Shuo Sun, Hao Peng, Rui Ding, Hongyuan Mei

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-12-23

💡 一句话要点

利用因果推理作为测试平台，研究RLVR在复杂推理任务中的泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 因果推理 大型语言模型 泛化能力 可验证奖励

📋 核心要点

  1. 现有RLVR方法在复杂推理任务中泛化能力的条件尚不明确，缺乏系统性研究。
  2. 论文利用因果图模型作为测试平台，通过控制查询级别和结构复杂度来研究RLVR的泛化能力。
  3. 实验表明，RLVR在特定条件下优于SFT，且其有效性依赖于模型初始的推理能力。

📝 摘要（中文）

本文研究了基于可验证奖励的强化学习(RLVR)在因果图模型上的泛化能力。RLVR是一种用于训练大型语言模型(LLMs)解决复杂推理任务的新范式，但其泛化条件尚不明确。本文构建了包含不同概率查询级别（关联、干预、反事实）和结构复杂度的因果图数据集，并使用RLVR或监督微调(SFT)对Qwen-2.5-Instruct模型进行微调，模型规模从3B到32B不等。研究发现，RLVR在特定模型规模和训练查询级别组合下，比SFT产生更强的同级别和跨级别泛化能力。进一步分析表明，RLVR的有效性取决于模型的初始推理能力。当模型具备足够的初始能力时，RLVR可以改善LLM的边缘化策略，减少中间概率计算中的错误，从而显著提高准确性，尤其是在更复杂的查询上。这些发现表明，RLVR可以提高特定的因果推理子技能，但其优势只有在模型具备足够的初始能力时才会显现。

🔬 方法详解

问题定义：论文旨在研究RLVR在复杂推理任务中的泛化能力，特别是针对因果推理任务。现有方法，如监督微调(SFT)，在面对不同难度级别的推理问题时，泛化能力有限。RLVR作为一种新兴的训练范式，其泛化条件和内在机制尚不明确，需要更深入的研究。

核心思路：论文的核心思路是利用因果图模型作为可控的测试环境，通过系统性地改变查询的难度级别（关联、干预、反事实）和结构复杂度，来评估RLVR和SFT的泛化能力。通过这种方式，可以更清晰地理解RLVR在不同情况下的表现，并分析其有效性的影响因素。

技术框架：整体框架包括以下几个步骤：1) 构建包含不同难度级别的因果图和查询的数据集；2) 使用RLVR或SFT对LLM（Qwen-2.5-Instruct）进行微调；3) 在不同难度级别的查询上评估模型的性能；4) 分析RLVR的有效性与模型初始推理能力之间的关系。主要模块包括数据生成模块、模型微调模块和评估模块。

关键创新：论文的关键创新在于将因果推理作为RLVR泛化能力研究的测试平台。通过控制因果图的结构和查询的类型，可以更精确地评估RLVR在不同推理子技能上的表现。此外，论文还揭示了RLVR的有效性与模型初始推理能力之间的关系，为RLVR的应用提供了重要的指导。

关键设计：论文的关键设计包括：1) 构建了包含不同难度级别的因果图和查询的数据集，涵盖关联、干预和反事实三种查询类型；2) 使用Qwen-2.5-Instruct模型作为基础模型，并对其进行RLVR或SFT微调；3) 通过实验分析了模型规模、训练查询级别等因素对RLVR泛化能力的影响；4) 深入分析了RLVR如何改善LLM的边缘化策略和减少中间概率计算中的错误。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在特定模型规模和训练查询级别组合下，RLVR比SFT产生更强的同级别和跨级别泛化能力。具体来说，当模型具备足够的初始推理能力时，RLVR可以显著提高模型在复杂查询上的准确性，改善LLM的边缘化策略，并减少中间概率计算中的错误。例如，在某些情况下，RLVR可以将模型的准确率提高10%以上。

🎯 应用场景

该研究成果可应用于提升大型语言模型在复杂推理任务中的性能，例如在医疗诊断、金融风险评估、智能决策等领域。通过RLVR训练，可以提高模型在不确定性环境下的推理能力和泛化能力，从而更好地解决实际问题。未来的研究可以探索更有效的RLVR训练策略，以及将其应用于更广泛的推理任务。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has emerged as a promising paradigm for post-training large language models (LLMs) on complex reasoning tasks. Yet, the conditions under which RLVR yields robust generalization remain poorly understood. This paper provides an empirical study of RLVR generalization in the setting of probabilistic inference over causal graphical models. This setting offers two natural axes along which to examine generalization: (i) the level of the probabilistic query -- associational, interventional, or counterfactual -- and (ii) the structural complexity of the query, measured by the size of its relevant subgraph. We construct datasets of causal graphs and queries spanning these difficulty axes and fine-tune Qwen-2.5-Instruct models using RLVR or supervised fine-tuning (SFT). We vary both the model scale (3B-32B) and the query level included in training. We find that RLVR yields stronger within-level and across-level generalization than SFT, but only for specific combinations of model size and training query level. Further analysis shows that RLVR's effectiveness depends on the model's initial reasoning competence. With sufficient initial competence, RLVR improves an LLM's marginalization strategy and reduces errors in intermediate probability calculations, producing substantial accuracy gains, particularly on more complex queries. These findings show that RLVR can improve specific causal reasoning subskills, with its benefits emerging only when the model has sufficient initial competence.