Multimodal AI Detection for Math-Heavy Scientific Text
作者: Yixuan Huang, Danish Pruthi, Bhuwan Dhingra
分类: cs.CL
发布日期: 2026-10-15
💡 一句话要点
提出多模态AI检测方法以解决数学密集科学文本的识别问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态检测 AI生成内容 数学文本识别 SnapJudge 科学写作 透明度提升
📋 核心要点
- 现有的AI检测方法主要依赖文本提取，未能有效利用数学内容的视觉信息，导致检测准确率下降。
- 本文提出了一种新型的图像检测器SnapJudge，能够处理数学密集的科学文本，提升检测效果。
- 实验结果表明，SnapJudge在处理AI生成的证明和散文时，检测率显著高于传统文本检测器，表现出更强的鲁棒性。
📝 摘要（中文）
随着大型语言模型在科学写作中的应用日益普及，研究中对AI使用的透明度需求也随之增加。现有的AI生成内容检测器主要依赖从PDF中提取的文本，未能充分利用数学密集内容中的丰富视觉信息。本文通过对比人类撰写的和AI生成的文本，提出了一种基于图像的检测器SnapJudge，显著提高了对数学内容的检测准确率，并在0.1%的假阳性率下，分别实现了92%和93%的检测率，超越了现有的文本检测器。
🔬 方法详解
问题定义：本文旨在解决现有AI检测器在处理数学密集科学文本时的准确性不足问题，尤其是当仅依赖文本提取时，检测效果显著下降。
核心思路：通过结合LaTeX源文件和PDF渲染图像，利用多模态信息来提升AI生成内容的检测准确性，特别是在数学内容丰富的情况下。
技术框架：整体架构包括三个主要模块：1) 数据收集与生成，2) 模型训练与微调，3) 基于图像的检测器SnapJudge的实现。数据来源于人类撰写的和AI生成的文本，分别以LaTeX、PDF图像和提取文本的形式进行处理。
关键创新：SnapJudge作为一种图像检测器，首次有效利用了数学内容的视觉信息，显著提升了检测准确率，尤其是在处理复杂数学表达式时，与传统文本检测器相比具有本质区别。
关键设计：在模型训练中，采用了Qwen-3.5-27B作为基础检测器，并在特定领域进行微调，确保其在数学内容上的表现优越。同时，SnapJudge在设计上优化了图像处理流程，以降低假阳性率并提高检测率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SnapJudge在0.1%的假阳性率下，成功实现了92%的证明和93%的散文检测率，显著优于传统的Pangram 4和文本检测器，展示了其在数学密集文本检测中的强大能力。
🎯 应用场景
该研究的潜在应用领域包括学术出版、教育和科研机构，能够帮助识别和标记AI生成的科学文本，提升学术写作的透明度和可信度。未来，随着AI在科学研究中的进一步应用，该技术可能成为学术界的标准工具，促进更高水平的学术诚信。
📄 摘要（原文）
As large language models become increasingly capable of generating, and assisting with, scientific writing, there is a need for greater transparency and disclosure around the use of AI in research. Consequently, a veritable subfield of research and a number of commercial services aim to flag AI-generated content automatically. However, existing detectors which rely only on text extracted from PDFs fail to benefit from the rich visual information contained in the formatting of math-heavy scientific content. To study this, we select human-written proof and prose passages from pre-2022 arXiv LaTeX sources and re-generate them using 15 modern LLMs within the context of the same paper. This leaves us with coupled human and AI outputs in three different representations: the LaTeX source, a rendered image of the PDF, and the text extracted from the PDF. We find that the accuracy of the state-of-the-art Pangram 4 drops significantly as the mathematical content in a passage increases, especially when evaluated on text as opposed to LaTeX. However, this is not an inherent limitation of detecting AI-generated math: finetuning Qwen-3.5-27B based detectors on this domain recovers the gap, with LaTeX inputs performing significantly better than text since they preserve more formatting information. Since LaTeX sources are rarely available in practice, we also train SnapJudge: an image-based detector operating on screenshots of both prose and proofs from papers. At 0.1% false positive rate, SnapJudge achieves a detection rate of 92% on proofs and 93% on prose generated by frontier models, substantially outperforming both Pangram 4 and our text-based detector. We release our data, models and code at https://nlplab.cs.duke.edu/snapjudge.