Overreliance on AI in Information-seeking from Video Content

📄 arXiv: 2603.19843v1 📥 PDF

作者: Anders Giovanni Møller, Elisa Bassignana, Francesco Pierri, Luca Maria Aiello

分类: cs.CY, cs.CL, cs.HC

发布日期: 2026-03-20

💡 一句话要点

研究揭示AI辅助视频信息检索中过度依赖AI的风险，导致准确率下降。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频信息检索 生成式AI 大型语言模型 用户行为研究 AI安全 过度依赖 欺骗性AI

📋 核心要点

  1. 现有方法缺乏对LLM在视频信息检索中潜在风险的深入研究，尤其是在用户过度依赖AI的情况下。
  2. 该研究通过实验对比了不同AI辅助模式下用户的信息检索表现，揭示了过度依赖AI可能导致的准确率下降。
  3. 实验结果表明，欺骗性AI会导致用户准确率显著下降，但用户信心水平并未随之降低，存在安全隐患。

📝 摘要（中文）

多媒体内容的普及正在重塑在线信息空间，尤其是在社交媒体环境中。同时，生成式AI正在迅速改变搜索方式，大型语言模型（LLM）被广泛用作用户和多媒体内容之间的中介，以检索和总结信息。尽管LLM的影响力日益增长，但LLM的不准确性和潜在漏洞对多媒体信息检索任务的影响在很大程度上仍未被探索。本研究调查了生成式AI如何影响从视频中检索信息的准确性、效率和信心。我们对大约900名参与者进行了8000多次基于视频的信息检索任务的实验，比较了三种情况下的行为：（1）仅访问视频，（2）访问视频并获得基于LLM的AI辅助，以及（3）访问视频并获得旨在提供虚假答案的欺骗性AI助手。我们发现，当参与者观看了相关的视频片段时，AI辅助将准确率提高了3-7％，而当他们没有观看时，则提高了27-35％。短视频的效率提高了10％，长视频的效率提高了25％。然而，参与者倾向于过度依赖AI输出，导致与欺骗性AI交互时准确率下降高达32％。令人担忧的是，所有三种情况下，自我报告的答案信心保持稳定。我们的发现揭示了AI介导的视频信息检索中的基本安全风险。

🔬 方法详解

问题定义：论文旨在研究在使用生成式AI辅助的情况下，用户从视频中检索信息时可能出现的过度依赖问题。现有方法缺乏对AI不准确或提供虚假信息时，用户行为和信息检索准确性的深入分析。用户过度依赖AI可能导致忽略视频本身的关键信息，从而降低信息检索的准确性。

核心思路：论文的核心思路是通过设计一个包含欺骗性AI助手的实验，来模拟AI提供错误信息的情况，并观察用户在不同AI辅助条件下的信息检索表现。通过对比用户在仅观看视频、使用正常AI助手和使用欺骗性AI助手时的准确率、效率和信心水平，来评估用户对AI的依赖程度以及这种依赖可能带来的风险。

技术框架：该研究采用实验方法，招募约900名参与者，并让他们完成8000多个基于视频的信息检索任务。参与者被随机分配到三个不同的实验组：（1）仅访问视频；（2）访问视频并获得基于LLM的AI辅助；（3）访问视频并获得欺骗性AI助手。研究人员记录参与者在不同条件下的答案准确率、完成任务所需的时间以及自我报告的信心水平。

关键创新：该研究的关键创新在于设计了一个欺骗性AI助手，该助手会故意提供错误的答案，从而模拟AI系统可能出现的故障或恶意攻击。通过观察用户在与欺骗性AI助手交互时的行为，研究人员能够更深入地了解用户对AI的依赖程度以及这种依赖可能带来的负面影响。与现有研究相比，该研究更关注AI辅助的潜在风险，而不仅仅是其带来的效率提升。

关键设计：实验中使用的视频内容涵盖各种主题和长度，以确保研究结果的普遍适用性。AI助手基于大型语言模型（LLM）构建，并经过训练以提供准确的答案。欺骗性AI助手则被设计成在一定比例的情况下提供错误的答案，以模拟AI系统的不准确性。研究人员还设计了详细的问卷，用于收集参与者的自我报告信心水平。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AI辅助在用户观看相关视频片段时，准确率提升3-7%，未观看时提升27-35%。效率方面，短视频提升10%，长视频提升25%。然而，欺骗性AI导致准确率下降高达32%，但用户信心水平并未显著降低。这些数据突显了过度依赖AI的风险。

🎯 应用场景

该研究成果可应用于改进AI辅助信息检索系统的设计，例如在视频搜索、在线教育和新闻传播等领域。通过提高用户对AI局限性的认识，并提供更可靠的AI辅助工具，可以减少用户对AI的过度依赖，提高信息检索的准确性和效率。此外，该研究也为评估和防范AI系统中的潜在风险提供了新的思路。

📄 摘要（原文）

The ubiquity of multimedia content is reshaping online information spaces, particularly in social media environments. At the same time, search is being rapidly transformed by generative AI, with large language models (LLMs) routinely deployed as intermediaries between users and multimedia content to retrieve and summarize information. Despite their growing influence, the impact of LLM inaccuracies and potential vulnerabilities on multimedia information-seeking tasks remains largely unexplored. We investigate how generative AI affects accuracy, efficiency, and confidence in information retrieval from videos. We conduct an experiment with around 900 participants on 8,000+ video-based information-seeking tasks, comparing behavior across three conditions: (1) access to videos only, (2) access to videos with LLM-based AI assistance, and (3) access to videos with a deceiving AI assistant designed to provide false answers. We find that AI assistance increases accuracy by 3-7% when participants viewed the relevant video segment, and by 27-35% when they did not. Efficiency increases by 10% for short videos and 25% for longer ones. However, participants tend to over-rely on AI outputs, resulting in accuracy drops of up to 32% when interacting with the deceiving AI. Alarmingly, self-reported confidence in answers remains stable across all three conditions. Our findings expose fundamental safety risks in AI-mediated video information retrieval.