news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

📄 arXiv: 2607.21284v1 📥 PDF

作者: Pascal Stolzenburg, Jonas Golde, Max Dallabetta, Alan Akbik

分类: cs.CL

发布日期: 2026-07-23

备注: KONVENS 2026

💡 一句话要点

提出news-crawler-LM以解决新闻页面内容提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文模型 新闻内容提取 结构化数据 语言模型 信息检索

📋 核心要点

  1. 现有方法在提取新闻页面内容时面临HTML布局异构和冗余内容的挑战，导致提取准确性不足。
  2. 论文提出news-crawler-LM，通过微调小型长上下文语言模型，减少对手工规则的依赖，实现高质量内容提取。
  3. 实验结果表明，news-crawler-LM在HTML到Markdown和HTML到JSON的提取任务中显著提升了性能，分别提高了+4.8 BLEU和+6.1 METEOR。

📝 摘要（中文）

从新闻页面提取结构化内容仍然面临挑战，主要由于HTML布局的异构性、不一致的标记以及大量的冗余内容，如导航元素和广告。基于规则的新闻爬虫可以通过编码特定网站结构实现高提取准确率，但需要手动配置以适应新的发布者。大型语言模型提供了更灵活的替代方案，减少了对手工规则的需求，但其高计算成本限制了实际部署。本文提出了news-crawler-LM，这是一种小型长上下文语言模型，经过高质量、人工验证的提取数据进行微调。我们的模型将原始HTML转换为纯文本和结构化JSON，包括标题、作者、出版日期和文章正文等字段。在实验中，news-crawler-LM在HTML到Markdown和HTML到JSON的提取任务中超越了强基线，分别提高了+4.8 BLEU和+6.1 METEOR的性能。

🔬 方法详解

问题定义：本文旨在解决从新闻页面提取结构化内容的困难，现有基于规则的方法需要手动配置，且难以适应新的发布者。

核心思路：论文提出的news-crawler-LM是一种小型长上下文语言模型，通过微调实现高质量的内容提取，减少了对手工规则的依赖，提升了灵活性和适应性。

技术框架：该模型的整体架构包括数据预处理、模型训练和内容提取三个主要阶段。首先对原始HTML进行解析，然后利用微调的语言模型进行内容提取，最后输出结构化的JSON格式。

关键创新：news-crawler-LM的主要创新在于其小型化设计和长上下文处理能力，使其在保持高提取准确率的同时，降低了计算成本，与传统的基于规则的方法相比，具有更好的通用性。

关键设计：模型在训练过程中采用了高质量的人工验证数据，损失函数设计为适应多种提取任务，网络结构经过优化以提高长文本处理能力。具体参数设置和训练策略在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，news-crawler-LM在HTML到Markdown和HTML到JSON的提取任务中，分别提高了+4.8 BLEU和+6.1 METEOR，表现优于多个强基线。在HTML到纯文本的任务中，虽然提升幅度较小，但仍显示出一定的优势。

🎯 应用场景

该研究的潜在应用领域包括新闻聚合、信息检索和内容推荐等。通过高效提取新闻内容，news-crawler-LM可以帮助媒体机构和内容平台更好地整理和展示信息，提升用户体验。未来，该技术还可能扩展到其他类型的网页内容提取，具有广泛的实际价值。

📄 摘要（原文）

Extracting structured content from news pages remains challenging due to heterogeneous HTML layouts, inconsistent markup, and substantial boilerplate such as navigation elements and advertisements. Rule-based news crawlers can achieve high extraction accuracy by encoding site-specific structure, but require manual configuration in order to generalize to new publishers. Large language models provide a more flexible alternative by reducing the need for handcrafted rules, but their high computational cost limits practical deployment. In this paper, we introduce news-crawler-LM, a small long-context language model fine-tuned on high-quality, human-validated extractions from the Fundus news-crawling library. Our model converts raw HTML into plaintext and structured JSON, including fields such as headline, author, publication date, and article body. In our experiments, news-crawler-LM outperforms strong baselines in HTML-to-Markdown and HTML-to-JSON extraction, improving performance by +4.8 BLEU and +6.1 METEOR in the HTML-to-Markdown task, and by +2.2 BLEU and +4.1 METEOR in the HTML-to-JSON task. However, we also observe that our model only slightly better compared to other rule-based parsing libraries on the HTML-to-plaintext task in evaluations on previously unseen publishers. We release all models and artifacts to the research community.