Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms
作者: Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman
分类: cs.CL, cs.AI, cs.CV
发布日期: 2026-07-23
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出Khondo基准以解决孟加拉文档包拆分问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文档包拆分 低资源语言 多模态基准 视觉理解 行政文档处理
📋 核心要点
- 现有方法在拆分文档包时面临挑战，尤其是在低资源语言环境下，难以恢复页面的原始顺序。
- 论文提出Khondo基准，允许模型直接在图像上操作，并提供真实的文档边界和页面顺序信息。
- 实验结果表明，尽管模型能够有效聚类页面，但在页面顺序恢复上仍存在显著困难，尤其是孟加拉语包的排序不如英语包可靠。
📝 摘要（中文）
文档包是多个文档合并为一个文件的形式，在政府和行政工作流程中普遍存在，但将其拆分为各个组成文档尤其在低资源语言中非常困难。我们提出了Khondo（孟加拉语意为拆分），这是针对孟加拉政府表单的首个文档包拆分基准。与以往基于英语和OCR文本的数据集不同，Khondo是双语（孟加拉语-英语）且以视觉为基础，模型直接在页面图像上操作。该数据集涵盖了五种拼接方案，跨越14个行政领域，并提供了真实的边界、领域类型和页面顺序。对多语言大模型的零样本评估显示，它们能够较好地将页面聚类到源文档中，但在恢复原始页面顺序时存在困难。
🔬 方法详解
问题定义：本论文旨在解决文档包拆分中的页面顺序恢复问题，现有方法在低资源语言的应用中表现不佳，尤其是在恢复页面顺序方面存在困难。
核心思路：Khondo基准的核心思想是通过提供双语和视觉原生的数据集，使模型能够直接在页面图像上进行操作，从而提高文档包拆分的准确性和效率。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集涵盖不同的拼接方案和行政领域，模型则在这些数据上进行训练和评估。
关键创新：Khondo的主要创新在于其双语特性和视觉原生设计，使得模型能够直接处理图像数据，而不是依赖于文本OCR结果，这在低资源语言的文档理解中具有重要意义。
关键设计：在实验中，使用了明确的页面顺序指令和不同语言的文档包进行对比，发现页面顺序恢复的难度主要受语言影响，尤其是孟加拉语的排序不如英语可靠。
🖼️ 关键图片
📊 实验亮点
实验结果显示，多语言大模型在页面聚类方面表现良好，但在页面顺序恢复上存在显著挑战。具体而言，模型在处理英语文档包时的排序准确率高于孟加拉语文档包，表明语言特性对排序能力的影响。
🎯 应用场景
该研究的潜在应用领域包括政府文档处理、行政管理自动化以及多语言文档理解系统。Khondo基准的建立将推动低资源语言的文档理解技术进步，提升相关领域的工作效率和准确性。
📄 摘要（原文）
Document packets, multiple documents concatenated into a single file, are common in government and administrative workflows, yet splitting them into their constituent documents is difficult, especially for low-resource languages. We introduce Khondo (Bangla for split/segment), the first benchmark for document packet splitting on Bangladeshi government forms. Unlike prior English and OCR-text-based datasets, Khondo is bilingual (Bangla--English) and vision-native; where models operate directly on page images. It spans five concatenation schemes, from sequential to fully shuffled, across 14 administrative domains, with ground-truth boundaries, domain types, and page order. Zero-shot evaluation of MLLMs shows they cluster pages into their source documents fairly well but struggle in restoring the original page order once shuffled. To isolate what drives this difficulty, we run two controlled analyses, varying the prompt instruction and then the packet language. Both primarily affect ordering rather than clustering: (a) explicit page-order instructions are necessary but insufficient, and (b) English packets are ordered more reliably than Bangla, making page arrangement the dominant challenge and language a secondary but consistent factor. Khondo establishes page-order reconstruction as a key open problem in vision-based, low-resource document understanding, and provides a controlled benchmark for measuring progress toward solving it. Our dataset and code is available at https://huggingface.co/datasets/Mausul/khondo