DualReward: A Dynamic Reinforcement Learning Framework for Cloze Tests Distractor Generation

📄 arXiv: 2507.11875v1 📥 PDF

作者: Tianyou Huang, Xinglu Chen, Jingshen Zhang, Xinying Qiu, Ruiying Niu

分类: cs.CL

发布日期: 2025-07-16

备注: Accepted to CCL 2025

💡 一句话要点

DualReward：一种用于完形填空题干扰项生成的动态强化学习框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 完形填空题 干扰项生成 强化学习 双重奖励 自适应缩放

📋 核心要点

  1. 现有完形填空题干扰项生成方法依赖监督学习或静态生成模型，缺乏动态调整和对高质量干扰项的探索。
  2. DualReward框架采用双重奖励结构和自适应缩放，区分人工和模型生成干扰项，并动态调整奖励信号强度。
  3. 实验表明，该方法在同构数据集上表现稳定，在跨域数据集上提升显著，尤其在MCQ数据集上P@1指标提升3.48-3.86%。

📝 摘要（中文）

本文提出了一种新的强化学习框架DualReward，用于完形填空题的自动干扰项生成。与主要依赖于监督学习或静态生成模型的传统方法不同，我们的方法采用了一种双重奖励结构，该结构具有自适应缩放功能，可以区分人工创建的黄金标准干扰项和模型生成的候选干扰项。该框架根据模型性能和置信度动态调整奖励信号强度。我们在段落级（CLOTH-F）和句子级（MCQ）完形填空题数据集上评估了我们的方法，结果表明，与最先进的基线相比，我们的方法始终有所改进。实验结果表明，我们的自适应奖励缩放机制在同构数据集（CLOTH-F）上提供了适度但一致的收益，在多样化的跨域数据（MCQ）上提供了更显著的改进（P@1提高了3.48-3.86%），表明其特别适用于处理各种问题类型和领域。我们的工作提供了一个灵活的框架，可以有效地平衡从可靠的人工示例中学习，同时探索用于自动测试生成的新颖、高质量的干扰项。

🔬 方法详解

问题定义：完形填空题干扰项自动生成旨在为给定的完形填空题选择合适的错误选项（干扰项）。现有方法主要依赖于监督学习或静态生成模型，这些方法难以有效区分高质量和低质量的干扰项，并且缺乏动态调整机制，无法充分利用人工标注数据和模型自身生成数据的优势。

核心思路：DualReward的核心思路是利用强化学习，通过设计一个双重奖励机制，区分人工生成的“黄金标准”干扰项和模型生成的候选干扰项。此外，引入自适应缩放机制，根据模型性能和置信度动态调整奖励信号的强度，从而鼓励模型探索更优的干扰项生成策略。

技术框架：DualReward框架包含以下主要模块：1) 干扰项生成器：基于神经网络生成候选干扰项；2) 判别器：评估候选干扰项的质量，并给出置信度评分；3) 奖励函数：根据判别器的评分和人工标注信息，计算双重奖励；4) 强化学习代理：根据奖励信号调整生成器的参数，优化干扰项生成策略。整体流程是，生成器生成候选干扰项，判别器评估其质量，奖励函数计算奖励，强化学习代理根据奖励更新生成器，循环迭代。

关键创新：DualReward的关键创新在于其双重奖励结构和自适应缩放机制。双重奖励能够区分人工标注和模型生成的数据，鼓励模型学习人工标注数据的同时，探索新的高质量干扰项。自适应缩放机制能够根据模型性能动态调整奖励信号的强度，避免模型过早收敛到局部最优解。

关键设计：奖励函数的设计是关键。它包含两部分：一部分是基于人工标注的奖励，另一部分是基于判别器评分的奖励。自适应缩放系数根据判别器的置信度动态调整两部分奖励的权重。损失函数是强化学习中的策略梯度损失，用于优化生成器的参数。网络结构方面，生成器和判别器可以使用各种神经网络模型，例如Transformer、BERT等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，DualReward框架在CLOTH-F和MCQ数据集上均优于现有基线方法。在同构数据集CLOTH-F上，性能提升适度但稳定。在更具挑战性的跨域数据集MCQ上，P@1指标提升了3.48-3.86%，表明该方法在处理多样化问题类型和领域时具有更强的泛化能力。

🎯 应用场景

DualReward框架可应用于自动化考试系统、在线教育平台和语言学习工具中，能够自动生成高质量的完形填空题干扰项，降低人工成本，提高测试效率和质量。该研究的成果有助于推动教育领域的智能化发展，并为个性化学习提供更丰富的资源。

📄 摘要（原文）

This paper introduces DualReward, a novel reinforcement learning framework for automatic distractor generation in cloze tests. Unlike conventional approaches that rely primarily on supervised learning or static generative models, our method employs a dual reward structure with adaptive scaling that differentiates between human-created gold standard distractors and model-generated candidates. The framework dynamically adjusts reward signal intensity based on model performance and confidence. We evaluate our approach on both passage-level (CLOTH-F) and sentence-level (MCQ) cloze test datasets, demonstrating consistent improvements over state-of-the-art baselines. Experimental results show that our adaptive reward scaling mechanism provides modest but consistent benefits on homogeneous datasets (CLOTH-F) and more substantial improvements (3.48-3.86% in P@1) on diverse, cross-domain data (MCQ), suggesting its particular effectiveness for handling varied question types and domains. Our work offers a flexible framework that effectively balances learning from reliable human examples while exploring novel, high-quality distractors for automated test generation.