Instruction-Tuning Data Synthesis from Scratch via Web Reconstruction

📄 arXiv: 2504.15573v2 📥 PDF

作者: Yuxin Jiang, Yufei Wang, Chuhan Wu, Xinyi Dai, Yan Xu, Weinan Gan, Yasheng Wang, Xin Jiang, Lifeng Shang, Ruiming Tang, Wei Wang

分类: cs.CL

发布日期: 2025-04-22 (更新: 2025-05-21)

备注: 16 pages, 11 figures, 9 tables. ACL 2025 camera-ready version

🔗 代码/项目: GITHUB

💡 一句话要点

提出WebR框架，通过Web重建从原始网页中合成高质量指令微调数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令微调 数据合成 Web重建 大型语言模型 自然语言处理

📋 核心要点

  1. 现有指令微调数据合成方法依赖高质量种子数据或对Web文档的强假设，限制了其泛化能力。
  2. WebR框架将Web重建视为指令微调任务，通过双视角范式利用原始Web内容的多样性。
  3. 实验结果表明，WebR在指令跟随任务上显著优于现有方法，并具有更好的兼容性和可扩展性。

📝 摘要（中文）

大型语言模型（LLMs）指令跟随能力的提升，关键在于高质量的指令-响应对的可用性。现有的自动数据合成方法虽然减轻了手动标注的负担，但通常严重依赖于种子数据的质量或对Web文档结构和内容的强假设。为了解决这些挑战，我们提出了Web Reconstruction（WebR），这是一个全自动框架，用于直接从原始Web文档中合成高质量的指令微调（IT）数据，且假设最少。利用原始Web内容的固有多样性，我们将Web重建概念化为一个指令微调数据合成任务，通过一种新颖的双视角范式——Web作为指令和Web作为响应——其中每个Web文档被指定为指令或响应，以触发重建过程。综合实验表明，WebR生成的数据集在四个指令跟随基准测试中，性能优于最先进的基线方法，最高提升达16.65%。值得注意的是，WebR表现出卓越的兼容性、数据效率和可扩展性，能够以最小的努力增强领域适应性。数据和代码已公开。

🔬 方法详解

问题定义：现有指令微调数据合成方法面临两个主要痛点：一是依赖于高质量的种子数据，如果种子数据质量不高，则合成的数据质量也会受到影响；二是通常需要对Web文档的结构和内容做出较强的假设，这限制了其在不同类型Web文档上的适用性。因此，需要一种能够从原始Web文档中直接合成高质量指令微调数据，且对Web文档结构和内容假设较少的方法。

核心思路：WebR的核心思路是将Web重建过程视为一个指令微调数据合成任务，并采用一种双视角范式：Web作为指令和Web作为响应。这意味着每个Web文档既可以被视为一个指令，也可以被视为一个响应，从而利用Web内容的固有多样性来生成指令-响应对。这种方法避免了对种子数据的依赖，并减少了对Web文档结构和内容的假设。

技术框架：WebR框架主要包含以下几个阶段：1) 从Web上抓取原始文档；2) 对抓取的文档进行预处理，例如去除HTML标签和噪声数据；3) 使用双视角范式，将每个文档分别视为指令和响应，生成候选的指令-响应对；4) 对生成的指令-响应对进行过滤和排序，选择高质量的指令-响应对作为最终的指令微调数据。

关键创新：WebR最重要的技术创新点在于其双视角范式，即将Web文档同时视为指令和响应。这种方法能够充分利用Web文档的多样性，从而生成更丰富和高质量的指令微调数据。与现有方法相比，WebR不需要依赖高质量的种子数据，并且对Web文档的结构和内容假设较少，因此具有更好的泛化能力。

关键设计：WebR的关键设计包括：1) 使用启发式规则来过滤和排序候选的指令-响应对，例如基于指令和响应的长度、相关性和信息量；2) 使用预训练的语言模型来评估指令和响应的质量，例如使用困惑度或生成能力；3) 采用数据增强技术来增加指令微调数据的多样性，例如使用回译或同义词替换。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WebR生成的数据集在四个指令跟随基准测试中，性能优于最先进的基线方法，最高提升达16.65%。这表明WebR能够有效地从原始Web文档中合成高质量的指令微调数据，并显著提升大型语言模型的指令跟随能力。此外，WebR还表现出卓越的兼容性、数据效率和可扩展性。

🎯 应用场景

WebR框架可广泛应用于各种需要指令微调的大型语言模型，例如聊天机器人、问答系统和文本生成模型。通过WebR，可以高效地构建高质量的指令微调数据集，从而提升模型的指令跟随能力和泛化性能。该研究有助于推动自然语言处理技术在实际应用中的发展。

📄 摘要（原文）

The improvement of LLMs' instruction-following capabilities depends critically on the availability of high-quality instruction-response pairs. While existing automatic data synthetic methods alleviate the burden of manual curation, they often rely heavily on either the quality of seed data or strong assumptions about the structure and content of web documents. To tackle these challenges, we propose Web Reconstruction (WebR), a fully automated framework for synthesizing high-quality instruction-tuning (IT) data directly from raw web documents with minimal assumptions. Leveraging the inherent diversity of raw web content, we conceptualize web reconstruction as an instruction-tuning data synthesis task via a novel dual-perspective paradigm--Web as Instruction and Web as Response--where each web document is designated as either an instruction or a response to trigger the reconstruction process. Comprehensive experiments show that datasets generated by WebR outperform state-of-the-art baselines by up to 16.65% across four instruction-following benchmarks. Notably, WebR demonstrates superior compatibility, data efficiency, and scalability, enabling enhanced domain adaptation with minimal effort. The data and code are publicly available at https://github.com/YJiangcm/WebR.