Host-Aware Web Crawling for LLM Pretraining Data
作者: Malte Ostendorff
分类: cs.CL
发布日期: 2026-10-09
备注: Accepted at WaC-13 @ EMNLP 2026
💡 一句话要点
提出主机感知网络爬虫以优化LLM预训练数据收集
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网络爬虫 数据选择 大型语言模型 质量评估 中心性指标 预训练数据 抓取策略 数据挖掘
📋 核心要点
- 现有的网络爬虫在数据选择过程中丢弃了大量潜在的高质量页面，导致LLM预训练数据的质量受限。
- 本文提出了一种主机感知的爬虫策略，通过结合质量分类器评分和网络图中心性指标，优化抓取预算分配。
- 实验结果表明，采用基于样本评分的深度抓取策略，能显著提高高质量页面的收集效率，提升幅度数倍。
📝 摘要（中文）
网络爬虫是大型语言模型（LLM）预训练数据的重要来源，但数据选择管道却丢弃了大量抓取页面。本文研究了爬虫如何在主机之间及主机内部分配预算，以收集更多高质量的预训练数据。通过结合文档级质量分类器评分、网络图中心性指标和Common Crawl的每主机抓取覆盖率，发现分类器评分的变化大约有一半发生在主机之间。分析的爬虫数据表明，来自某个主机的少量页面也能有效估计其余页面的质量。尽管Common Crawl使用谐波中心性来指导抓取分配，但在我们的模拟中，使用中心性选择抓取主机的收益有限，且对于某些分类器表现更差。相反，针对每个主机的深度抓取，先采样少量页面，然后从高评分样本的主机抓取更多页面，能显著提高高质量页面的收集效率。
🔬 方法详解
问题定义：本文旨在解决现有网络爬虫在数据选择过程中丢弃大量高质量页面的问题。现有方法在主机抓取预算分配上存在不足，导致预训练数据质量不高。
核心思路：论文提出通过结合文档级质量分类器评分和网络图中心性指标，优化爬虫在主机之间及主机内部的抓取预算分配，以提高高质量数据的收集效率。
技术框架：整体架构包括三个主要模块：1) 质量分类器，用于评估页面质量；2) 网络图中心性计算，评估主机的重要性；3) 抓取策略优化，根据评分和中心性决定抓取深度和主机选择。
关键创新：最重要的技术创新在于提出了一种基于样本评分的深度抓取策略，相较于传统的随机抓取或中心性导向抓取，能显著提高高质量页面的收集效率。
关键设计：在抓取过程中，采用了谐波中心性作为主机选择的参考，同时在深度抓取时，先采样少量页面，再根据样本评分决定后续抓取深度，这一设计有效提升了高质量页面的获取率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用基于样本评分的深度抓取策略，相较于均匀深度或中心性导向分配，能够每次抓取收集到数倍于高质量页面的数量。此外，发现Common Crawl的每主机覆盖率与评估的质量信号几乎没有相关性，表明仍有大量高质量页面未被抓取。
🎯 应用场景
该研究的潜在应用领域包括搜索引擎优化、数据挖掘和自然语言处理等。通过提高网络爬虫的效率，可以为大型语言模型提供更高质量的预训练数据，从而提升模型的性能和应用效果，具有重要的实际价值和未来影响。
📄 摘要（原文）
Web crawling is a major source of large language model (LLM) pretraining data, yet data-selection pipelines discard a large share of crawled pages. We investigate how a crawler should allocate its budget across and within hosts to collect more high-quality pretraining data. Combining document-level quality classifier scores, web-graph centrality metrics, and Common Crawl's per-host crawl coverage, we find that roughly half of the variation in classifier scores occurs between hosts. In the crawls we analyze, a few pages from a host also provide a useful estimate of the quality of its remaining pages. Common Crawl uses harmonic centrality, a graph centrality metric, to guide its crawl allocation. In our simulations, using centrality to choose which hosts to crawl yields limited gains over random ordering and performs worse for some classifiers. For deciding how deeply to crawl each host, sampling a few pages and then fetching more from hosts with higher-scoring samples collects several times more high-quality pages per fetch than uniform depth or centrality-based allocation. Finally, Common Crawl's observed per-host coverage has little correlation with the evaluated quality signals. We estimate that tens of millions of high-quality pages remain among known but uncrawled URLs in each crawl examined, with most concentrated on a small share of hosts.