From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks

📄 arXiv: 2604.27453v1 📥 PDF

作者: Qingyu Ren, Tianjun Pan, Xingzhou Chen, Xuhong Wang

分类: cs.CL

发布日期: 2026-04-30

🔗 代码/项目: GITHUB | GITHUB

💡 一句话要点

提出WEval评估体系和WRL训练框架，提升写作生成任务中奖励模型的细粒度控制能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 写作生成 奖励模型 细粒度评估 强化学习 文本生成 自然语言处理 指令遵循

📋 核心要点

  1. 现有写作生成任务的评估基准缺乏细粒度，无法有效衡量模型在满足特定写作要求方面的性能。
  2. 论文提出WEval评估体系和WRL训练框架，通过细粒度的奖励建模，提升模型对写作要求的遵循程度。
  3. 实验结果表明，该方法在多个写作基准测试中取得了显著提升，并具有良好的泛化能力。

📝 摘要（中文）

大型语言模型在文本生成方面取得了显著进展，但在生成式写作任务中仍然面临挑战。现有评估方法对写作奖励模型的评估过于粗糙，无法衡量特定要求的性能。现有的训练方法要么使用LLM-as-a-judge方法，要么训练粗粒度的奖励模型，缺乏细粒度的要求一致性奖励建模。为了解决这些问题，我们提出了一种用于写作奖励模型的细粒度评估流程WEval和一个细粒度的强化学习训练框架WRL。WEval的评估数据涵盖多个任务类别和要求类型，通过测量奖励模型的排名与黄金排名之间的相关性，从而能够系统地评估写作奖励模型。WRL通过选择性地删除指令要求来构建正负样本，从而实现更精确的奖励模型训练。实验表明，我们的模型在各种写作基准测试中取得了显著的改进，并表现出强大的泛化能力。代码和数据已公开。

🔬 方法详解

问题定义：现有写作生成任务的奖励模型训练和评估存在问题。评估方面，现有基准测试过于粗糙，无法针对特定写作要求进行有效评估。训练方面，现有方法要么依赖LLM作为裁判，要么训练粗粒度的奖励模型，缺乏对细粒度要求的建模能力。

核心思路：论文的核心思路是构建细粒度的评估体系和训练框架，从而提升奖励模型对写作要求的理解和遵循能力。通过更精细的评估，可以更准确地衡量模型性能；通过更精细的训练，可以使模型更好地学习如何满足不同的写作要求。

技术框架：论文提出了WEval评估体系和WRL训练框架。WEval包含多个任务类别和要求类型的评估数据，通过计算奖励模型排名与人工标注排名之间的相关性来评估模型性能。WRL通过选择性地删除指令要求来构建正负样本，从而训练更精确的奖励模型。整体流程是先使用WEval评估现有模型，然后使用WRL训练新的奖励模型，最后再次使用WEval评估新模型的性能。

关键创新：论文的关键创新在于提出了细粒度的评估和训练方法。WEval能够针对特定写作要求进行评估，而WRL能够通过选择性删除指令要求来构建更有效的训练样本。这种细粒度的处理方式使得奖励模型能够更好地理解和遵循写作要求。

关键设计：WRL的关键设计在于正负样本的构建方式。通过选择性地删除指令要求，可以生成与原始指令相似但又不完全相同的负样本。这种方式可以有效地训练奖励模型区分哪些文本更符合原始指令的要求。具体的损失函数和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的WEval评估体系和WRL训练框架在多个写作基准测试中取得了显著提升。具体性能数据和对比基线在摘要中未提及，属于未知信息。但论文强调了模型在各种写作基准测试中取得了显著的改进，并表现出强大的泛化能力。

🎯 应用场景

该研究成果可应用于各种写作辅助工具和智能写作平台，例如自动文章生成、论文润色、创意写作等。通过提升模型对写作要求的理解和遵循能力，可以生成更符合用户需求的文本，提高写作效率和质量。该研究还有助于提升人机协作写作的智能化水平。

📄 摘要（原文）

Large language models have achieved remarkable progress in text generation but still struggle with generative writing tasks. In terms of evaluation, existing benchmarks evaluate writing reward models coarsely and fail to measure performance from the perspective of specific requirements. In terms of training, existing training methods either use LLM-as-a-judge approaches or train coarse-grained reward models, lacking fine-grained requirement-adherence reward modeling. To address these issues, we propose a fine-grained evaluation pipeline WEval for writing reward models and a fine-grained reinforcement learning training framework WRL. The evaluation data of WEval covers multiple task categories and requirement types, enabling systematic evaluation of writing reward models by measuring the correlation between the rankings of the reward model and gold rankings. WRL constructs positive and negative samples by selectively dropping instruction requirements, allowing for more precise reward model training. Experiments show that our models achieve substantial improvements across various writing benchmarks and exhibit strong generalization. The code and data are publicly available at \href{https://github.com/Rainier-rq1/From_Coarse_to_Fine}{https://github.com/Rainier-rq1/From_Coarse_to_Fine}.