Following Delegation Traces to Study Human Oversight in Interaction with Multimodal AI
作者: Agnese Chiatti, Matteo Matteucci, Viola Schiaffonati
分类: cs.HC, cs.AI, cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出观察委托轨迹以研究人类与多模态AI的互动监督问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态AI 人机协作 信任度评估 委托决策 在线实验
📋 核心要点
- 当前研究缺乏对用户如何在与多模态AI互动中转移控制权的深入理解，尤其是在信任与委托决策之间的关系。
- 本文通过在线研究，分析用户在视频问答任务中对AI响应的信任度及其对未来任务委托选择的影响。
- 实验结果表明，互动后的信任度显著预测用户的委托选择，验证政策是最常见的选择，且委托选择随着任务顺序的增加而增加。
📝 摘要（中文）
随着多模态AI系统逐渐成为日常思维伙伴，研究用户如何将控制权转移给这些系统变得尤为紧迫。本文报告了一项在线研究的发现，参与者在392个视频问答试验中评估AI的响应，并根据任务特定的信任度选择未来任务的三种政策之一：拒绝AI协助、使用AI并进行验证，或完全委托给AI。研究发现，互动后的信任度强烈预测用户的委托选择，验证政策占主导地位，并与高信任度共现。委托选择随着任务顺序的增加而增加，表明存在经验相关的成分。最后，本文提出了“已实施委托轨迹”作为未来多模态和自主AI使用研究的方法框架。
🔬 方法详解
问题定义：本文旨在解决用户在与多模态AI系统互动时如何转移控制权的问题。现有研究主要集中在用户的意图委托上，而缺乏对实际委托行为的观察与分析。
核心思路：论文提出通过观察用户在实际任务中的委托轨迹，来研究信任与委托之间的动态关系。这样的设计能够更真实地反映用户在与AI互动中的决策过程。
技术框架：研究采用在线实验的形式，参与者在视频问答任务中评估AI的响应，并根据信任度选择未来的委托政策。主要模块包括任务设计、信任度评估和委托选择分析。
关键创新：最重要的创新在于提出了“已实施委托轨迹”的概念，强调观察用户在实际任务中的委托行为，而非仅依赖于用户的意图报告。这一方法与传统的调查研究方法存在本质区别。
关键设计：实验中，参与者的信任度通过任务特定的评分系统进行评估，委托选择则分为拒绝、验证和完全委托三种政策。数据分析采用了逻辑回归模型，重点分析了信任度与委托选择之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，互动后的信任度显著预测用户的委托选择，OR值为14.97，95%置信区间为[7.14,31.37]。验证政策是最常见的选择，且委托选择随着任务顺序的增加而增加，OR值为1.22，95%置信区间为[1.02,1.45]，表明经验在委托决策中起重要作用。
🎯 应用场景
该研究的潜在应用领域包括人机协作、智能助手和自动化决策系统等。通过深入理解用户在与AI互动中的信任与委托行为，可以为设计更高效的AI系统提供理论支持，提升人机协作的效果与安全性。未来，研究成果可能推动多模态AI在各行业的广泛应用。
📄 摘要（原文）
As multimodal AI systems are becoming our everyday thought partners, the shift towards studying how users transfer control to these systems becomes especially urgent. In this paper, we report an overview of findings from an online study with n=56 AI-literate participants and 392 Video Question Answering trials. After inspecting each multimodal AI response, participants rated task-specific trust and selected one of three intended policies for an analogous future task: reject AI assistance, use it with verification, or delegate fully to the AI. Within participants, post-interaction trust strongly predicted the user's delegation choices (OR=14.97, 95% CI [7.14,31.37]). Trust and delegation nevertheless remained distinct. Verification was the dominant policy and often co-occurred with high trust. Delegation also increased with task order after adjustment for momentary and participant-level trust (OR=1.22, 95% CI [1.02,1.45]), indicating an experience-related component that self-reported trust ratings alone could not capture. These findings motivate a shift from intended delegation to a non-intrusive observation of how delegation is enacted in collaborative human-AI tasks. We therefore conclude by proposing enacted delegation traces as a methodological framework for future studies of multimodal and agentic AI use.