Size Matters: Foundation Model for Czech HTML documents
作者: Martin Dvořák, Vít Tlustoš, Artyom Voronin, Martin Habrovec, Kateřina Podlesná, Barbora Rišová, Josef Vonášek
分类: cs.CL
发布日期: 2026-09-16
期刊: Text, Speech, and Dialogue. TSD 2026. Lecture Notes in Computer Science(), vol 16940 141-152
DOI: 10.1007/978-3-032-37249-9_12
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出HTML-LM以解决捷克HTML文档处理效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 HTML文档处理 捷克语 多目标训练 ModernBERT 信息检索 内容推荐
📋 核心要点
- 现有方法往往依赖于大型模型，忽视HTML的结构信息，且受到短上下文窗口的限制，影响实际应用效果。
- 本文提出HTML-LM模型，通过HTML感知训练和ModernBERT架构，旨在提高网页文档处理的效率和质量。
- HTML-LM在捷克互联网领域的分类和回归任务中表现优异，超越了更大和更小的语言模型，设定了新的性能标准。
📝 摘要（中文）
在高流量工业环境中，创建通用且高质量的网页文档表示需要高效且经济的模型。然而，现有方法往往依赖于大型模型，忽视HTML固有的结构信息，或受到短上下文窗口的限制，限制了其处理真实网页的能力。本文提出了HTML-LM，一个具有1.54亿参数的紧凑型基础模型，通过HTML感知训练和基于ModernBERT的架构解决了这些限制。该模型在1亿个网页文档上进行了多目标训练，包括掩码语言建模、词袋预测和从大型语言模型的对比蒸馏。因此，HTML-LM在捷克互联网领域的分类和回归应用中设定了新的最先进水平，超越了更大编码器和小型LLM。该模型已在生产中部署，每秒处理数千个网页文档，并以CC BY-NC 4.0的许可发布给社区。
🔬 方法详解
问题定义：本文旨在解决现有网页文档处理模型在性能和经济性上的不足，尤其是对HTML结构信息的忽视和短上下文窗口的限制。
核心思路：提出HTML-LM模型，通过HTML感知训练方法和基于ModernBERT的架构设计，旨在有效利用HTML文档的结构信息，从而提升模型的处理能力。
技术框架：HTML-LM的整体架构包括多个模块，首先进行HTML文档的预处理，然后通过多目标训练（如掩码语言建模和词袋预测）来优化模型，最后进行对比蒸馏以增强模型性能。
关键创新：HTML-LM的主要创新在于其紧凑的参数设置（1.54亿参数）和HTML感知的训练方式，使其在处理捷克网页文档时表现出色，显著超越传统大型模型。
关键设计：模型采用了多目标训练策略，结合了掩码语言建模、词袋预测和对比蒸馏等技术，确保了在不同任务上的优异表现，同时保持了较小的模型规模。
🖼️ 关键图片
📊 实验亮点
HTML-LM在捷克互联网领域的分类和回归任务中设定了新的最先进水平，超越了更大编码器和小型LLM，展示了其在处理速度和准确性上的显著优势。该模型每秒可处理数千个网页文档，显示出其在实际应用中的高效性。
🎯 应用场景
HTML-LM模型在处理捷克语网页文档的分类和回归任务中具有广泛的应用潜力，能够为信息检索、内容推荐和网页分析等领域提供高效的解决方案。其高效的处理能力和经济性使其适合在高流量的工业环境中部署，未来可能推动更多基于网页内容的智能应用的发展。
📄 摘要（原文）
Creating universal, high-quality representations of web documents in high-traffic industrial environments requires models that are both performant and economic. Existing approaches, however, often depend on large models, overlook the structural information inherent in HTML, or are constrained by short context windows, limiting their ability to process real-world web pages. We present HTML-LM, a compact foundation model with 154 million parameters that addresses these limitations through HTML-aware training and a ModernBERT-based architecture. It was trained on 100 million web documents using multiple objectives, including masked language modeling, bag-of-words prediction, and contrastive distillation from large language models. Consequently, HTML-LM sets a new state-of-the-art for classification and regression applications in the Czech Internet domain, surpassing both larger encoders and small-sized LLMs. The model is deployed in production, processing thousands of web documents per second, and released to the community under the CC BY-NC 4.0. https://huggingface.co/Seznam/html-lm.