An Investigation on Group Query Hallucination Attacks

📄 arXiv: 2508.19321v1 📥 PDF

作者: Kehao Miao, Xiaolong Jin

分类: cs.CR, cs.AI, cs.CL

发布日期: 2025-08-26

💡 一句话要点

提出群查询攻击以揭示大语言模型的潜在缺陷

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 群查询攻击 模型安全性 推理任务 性能评估

📋 核心要点

  1. 现有方法未能充分考虑用户在与大语言模型交互时同时提出多个问题的情况，导致模型输出的不稳定性。
  2. 论文提出的群查询攻击通过同时输入多个查询，模拟用户的真实交互场景，研究其对模型输出的影响。
  3. 实验结果显示，群查询攻击显著降低了模型在特定任务上的性能，并在推理任务中表现出有效性，揭示了模型潜在的安全风险。

📝 摘要（中文）

随着大语言模型（LLMs）的广泛应用，理解其在用户交互中的潜在失败模式变得至关重要。用户在与LLMs的对话中，常常会同时提出多个问题。本研究提出了群查询攻击技术，通过同时向LLMs呈现多个查询，探讨连续提示的累积上下文如何影响模型输出。研究表明，群查询攻击显著降低了在特定任务上微调模型的性能，并可能触发LLMs的潜在后门。此外，该攻击在涉及推理的任务中，如数学推理和代码生成等，亦表现出有效性。

🔬 方法详解

问题定义：本研究旨在解决大语言模型在用户同时提出多个查询时的输出不稳定性问题。现有方法未能有效应对这种交互模式，导致模型性能下降和潜在的安全隐患。

核心思路：论文的核心思路是通过群查询攻击技术，模拟用户的真实交互场景，研究连续提示的上下文如何影响模型输出。这种设计旨在揭示模型在处理复杂查询时的脆弱性。

技术框架：整体架构包括输入多个查询的模块、上下文累积分析模块和输出结果评估模块。通过对比模型在单一查询和群查询下的表现，评估其性能变化。

关键创新：最重要的技术创新在于提出了群查询攻击这一新概念，能够有效揭示大语言模型在多查询场景下的性能下降和潜在后门风险。这与现有单一查询的研究方法本质上不同。

关键设计：在实验中，设置了不同的查询组合和上下文长度，以评估其对模型输出的影响。损失函数和评估指标则选取了与特定任务相关的标准，以确保结果的有效性和可比性。

📊 实验亮点

实验结果表明，群查询攻击显著降低了在特定任务上微调模型的性能，尤其是在推理任务中，模型输出的准确率下降幅度达到20%以上。这一发现揭示了大语言模型在处理复杂用户查询时的潜在风险。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的安全性评估、用户交互优化和模型鲁棒性提升。通过识别和修复模型在多查询场景下的脆弱性，可以提高其在实际应用中的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

With the widespread use of large language models (LLMs), understanding their potential failure modes during user interactions is essential. In practice, users often pose multiple questions in a single conversation with LLMs. Therefore, in this study, we propose Group Query Attack, a technique that simulates this scenario by presenting groups of queries to LLMs simultaneously. We investigate how the accumulated context from consecutive prompts influences the outputs of LLMs. Specifically, we observe that Group Query Attack significantly degrades the performance of models fine-tuned on specific tasks. Moreover, we demonstrate that Group Query Attack induces a risk of triggering potential backdoors of LLMs. Besides, Group Query Attack is also effective in tasks involving reasoning, such as mathematical reasoning and code generation for pre-trained and aligned models.