How Robust Is Multimodal Claim Verification to LLM Rewriting?
作者: Yun-Ang Wu, Xanh Ho, Andre Greiner-Petter, Sunisth Kumar, Tian Cheng Xia, Florian Boudin, Akiko Aizawa
分类: cs.CL
发布日期: 2026-10-02
备注: Accepted to AACL 2026 (Main Conference). 18 pages
💡 一句话要点
研究多模态声明验证对LLM重写的鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态声明验证 大型语言模型 风格变化 鲁棒性 信息验证 学术文本处理 模型评估
📋 核心要点
- 现有研究对LLM引入的风格变化如何影响科学任务的模型决策缺乏深入探讨，尤其是在多模态声明验证领域。
- 本文提出了两种重写策略：自然重写和控制注入，以评估这些风格变化对多模态声明验证的影响。
- 实验结果表明，大多数模型在面对这些修改时表现出鲁棒性，准确率未显著下降，且验证过程比以往研究更为稳定。
📝 摘要（中文）
大型语言模型（LLMs）在生成文本时会引入风格变化，但这些变化对科学任务模型决策的影响尚未得到充分探索。本文聚焦于多模态声明验证，旨在判断文本声明是否基于给定证据。我们应用了两种重写策略：自然重写模拟研究人员使用LLMs润色学术文本的方式，而控制注入则插入一个与LLM相关的单词以隔离词汇选择的影响。我们评估了11个开放权重模型，涵盖五个视觉语言模型（VLM）系列，参数范围从20亿到380亿。结果显示，大多数模型对这些修改具有鲁棒性，准确率没有显著下降，与以往关于评审分数操控的研究相比，验证过程显得更为稳定。然而，概率的持续变化确实存在，偏向性条件在几乎所有模型中产生显著变化，而提升条件影响较弱，通用润色条件（如语法修正、流畅性提升）几乎没有影响。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型（LLMs）在多模态声明验证中引入的风格变化对模型决策的影响。现有方法未能充分考虑这些变化如何影响科学任务的准确性和稳定性。
核心思路：通过引入自然重写和控制注入两种重写策略，本文旨在评估不同风格变化对多模态声明验证的影响，从而揭示模型的鲁棒性。
技术框架：研究首先定义多模态声明验证任务，然后应用两种重写策略对文本进行修改，最后评估11个不同的开放权重模型在这些修改下的表现。
关键创新：本文的创新在于系统性地评估了LLMs引入的风格变化对多模态声明验证的影响，揭示了模型在不同条件下的鲁棒性和稳定性。
关键设计：在实验中，使用了11个开放权重模型，涵盖不同参数规模，并通过对比分析不同重写策略下的模型表现，重点关注准确率和概率变化。实验设计考虑了多种影响因素，如语法修正和流畅性提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，大多数模型在面对自然重写和控制注入的情况下，准确率未显著下降，验证过程的稳定性优于以往研究。尤其是在偏向性条件下，几乎所有模型均表现出显著的概率变化，表明模型对不同风格变化的敏感性。
🎯 应用场景
该研究的潜在应用领域包括学术文本的自动审核、信息验证系统以及科学研究的辅助工具。通过提高多模态声明验证的鲁棒性，能够更好地支持科研人员在信息获取和验证过程中的决策，提升学术交流的质量和效率。未来，该研究可能推动更智能的信息处理和验证技术的发展。
📄 摘要（原文）
LLMs are known to introduce stylistic changes into generated text, yet how these stylistic shifts affect model decisions on scientific tasks remains underexplored. In this paper, we focus on multimodal claim verification, where the goal is to determine whether a textual claim is grounded in a given piece of evidence. We apply two rewriting strategies: natural rewriting, which simulates how researchers routinely use LLMs to polish academic text, and controlled injection, which inserts a single LLM-associated word to isolate the effect of vocabulary choice. We evaluate 11 open-weight models spanning five VLM families and ranging from 2B to 38B parameters. We find that models are robust to these modifications: most show no significant drop in accuracy, and compared to prior work on review-score manipulation, verification appears far more stable. However, consistent probability shifts do occur. Hedging-oriented conditions produce significant shifts across nearly all models, while boosting conditions show a weaker effect and general polishing conditions (e.g., grammar correction, fluency improvement) have little effect.