Evaluating the Effectiveness of Direct Preference Optimization for Personalizing German Automatic Text Simplifications for Persons with Intellectual Disabilities

📄 arXiv: 2507.01479v1 📥 PDF

作者: Yingqiang Gao, Kaede Johnson, David Froehlich, Luisa Carrer, Sarah Ebling

分类: cs.CL, cs.AI

发布日期: 2025-07-02

💡 一句话要点

利用直接偏好优化（DPO）个性化德语自动文本简化，提升智力障碍人士可访问性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动文本简化 直接偏好优化 大型语言模型 个性化 智力障碍 可访问性 人机交互

📋 核心要点

  1. 现有基于LLM的自动文本简化系统缺乏个性化，未能充分考虑智力障碍人士的特定偏好。
  2. 论文提出利用直接偏好优化（DPO）方法，根据目标群体的人工反馈对LLM进行后训练，实现个性化文本简化。
  3. 研究结果表明，目标群体参与AI可访问性解决方案的设计至关重要，有助于提升系统的可用性和满意度。

📝 摘要（中文）

自动文本简化（ATS）旨在增强包括智力障碍人士在内的各类目标群体的语言可访问性。生成式AI，特别是大型语言模型（LLMs）的最新进展，显著提高了机器生成文本简化的质量，从而减少了目标群体的信息障碍。然而，现有的基于LLM的ATS系统在训练过程中没有整合关于文本简化的偏好反馈，导致缺乏针对目标群体代表特定需求的个性化。本文通过利用计算高效的LLM对齐技术——直接偏好优化（DPO），扩展了用于调整基于LLM的ATS模型的标准监督微调（SFT）方法。具体而言，我们使用从智力障碍人士收集的人工反馈对基于LLM的ATS模型进行后训练，反映了他们对主流LLM生成的成对文本简化的偏好。此外，我们提出了一个用于开发个性化LLM-based ATS系统的流程，包括数据收集、模型选择、SFT和DPO后训练以及评估。我们的研究结果强调了目标群体人员积极参与设计符合人类期望的个性化AI可访问性解决方案的必要性。这项工作代表着朝着在目标群体层面个性化包容性AI系统迈出的一步，不仅整合了文本简化专家的见解，还整合了目标群体人员自身的见解。

🔬 方法详解

问题定义：论文旨在解决现有自动文本简化（ATS）系统缺乏个性化的问题，特别是针对智力障碍人士这一特殊群体。现有的基于大型语言模型（LLM）的ATS系统通常采用监督微调（SFT）方法，但忽略了目标用户对简化文本的偏好反馈，导致生成的简化文本可能不符合他们的实际需求。

核心思路：论文的核心思路是利用直接偏好优化（DPO）算法，将目标用户对文本简化的偏好直接融入到LLM的训练过程中。DPO是一种高效的LLM对齐技术，它通过优化奖励函数来直接学习用户的偏好，而无需显式地建模奖励函数。通过DPO，模型能够生成更符合用户偏好的个性化简化文本。

技术框架：论文提出的个性化ATS系统开发流程包括以下几个主要阶段：1) 数据收集：收集目标用户对成对文本简化的偏好数据。2) 模型选择：选择合适的LLM作为基础模型。3) 监督微调（SFT）：使用标准SFT方法对LLM进行初步训练，使其具备基本的文本简化能力。4) 直接偏好优化（DPO）后训练：使用收集到的用户偏好数据，通过DPO算法对SFT后的模型进行进一步训练，使其能够生成更符合用户偏好的个性化简化文本。5) 评估：评估个性化ATS系统的性能，包括简化文本的可理解性、流畅性和用户满意度。

关键创新：论文的关键创新在于将直接偏好优化（DPO）算法应用于个性化自动文本简化任务。与传统的SFT方法相比，DPO能够更有效地利用用户偏好数据，生成更符合用户需求的个性化简化文本。此外，论文还提出了一个完整的个性化ATS系统开发流程，为后续研究提供了参考。

关键设计：论文的关键设计包括：1) 偏好数据收集方法：设计合适的实验方案，收集目标用户对成对文本简化的偏好数据。2) DPO损失函数：选择合适的DPO损失函数，以优化模型的偏好学习效果。3) 模型评估指标：选择合适的评估指标，以全面评估个性化ATS系统的性能，例如可理解性（Comprehensibility）、流畅性（Fluency）和用户满意度（User Satisfaction）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了DPO在个性化德语自动文本简化任务中的有效性。实验结果表明，与传统的SFT方法相比，使用DPO后训练的LLM能够生成更符合智力障碍人士偏好的简化文本，显著提高了文本的可理解性和用户满意度。具体的性能提升数据未知，但研究强调了DPO在个性化文本简化方面的潜力。

🎯 应用场景

该研究成果可应用于开发个性化的辅助技术，帮助智力障碍人士更好地理解和获取信息。例如，可以将其集成到网页浏览器、电子书阅读器等应用中，自动将复杂的文本简化为易于理解的版本。此外，该方法还可以推广到其他需要个性化文本处理的场景，如为老年人、语言学习者等群体提供定制化的文本简化服务，具有广泛的应用前景。

📄 摘要（原文）

Automatic text simplification (ATS) aims to enhance language accessibility for various target groups, particularly persons with intellectual disabilities. Recent advancements in generative AI, especially large language models (LLMs), have substantially improved the quality of machine-generated text simplifications, thereby mitigating information barriers for the target group. However, existing LLM-based ATS systems do not incorporate preference feedback on text simplifications during training, resulting in a lack of personalization tailored to the specific needs of target group representatives. In this work, we extend the standard supervised fine-tuning (SFT) approach for adapting LLM-based ATS models by leveraging a computationally efficient LLM alignment technique -- direct preference optimization (DPO). Specifically, we post-train LLM-based ATS models using human feedback collected from persons with intellectual disabilities, reflecting their preferences on paired text simplifications generated by mainstream LLMs. Furthermore, we propose a pipeline for developing personalized LLM-based ATS systems, encompassing data collection, model selection, SFT and DPO post-training, and evaluation. Our findings underscore the necessity of active participation of target group persons in designing personalized AI accessibility solutions aligned with human expectations. This work represents a step towards personalizing inclusive AI systems at the target-group level, incorporating insights not only from text simplification experts but also from target group persons themselves.