Driver Assistant: Persuading Drivers to Adjust Secondary Tasks Using Large Language Models

📄 arXiv: 2508.05238v1 📥 PDF

作者: Wei Xiang, Muchen Li, Jie Yan, Manling Zheng, Hanfei Zhu, Mengyun Jiang, Lingyun Sun

分类: cs.HC, cs.AI

发布日期: 2025-08-07

备注: 6 pages, 4 figures, 2025 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

💡 一句话要点

利用大语言模型辅助驾驶员调整次要任务，提升道路安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 人机交互 自动驾驶 驾驶员辅助 认知负荷

📋 核心要点

  1. L3自动驾驶允许驾驶员进行次要任务，但降低了风险感知，紧急情况需要驾驶员快速接管，造成认知负担。
  2. 利用大语言模型，根据路况提供人性化的劝导建议，通过视觉和听觉方式引导驾驶员行为，维持注意力。
  3. 实验表明，该工具能有效维持驾驶员注意力，降低认知负荷，协调次要任务与接管行为。

📝 摘要（中文）

本研究旨在解决L3级自动驾驶系统下，驾驶员因从事次要任务而降低对风险感知的挑战。当系统需要驾驶员紧急介入时，留给驾驶员的反应时间有限，认知负担重。为此，本研究利用大语言模型（LLM），通过“人性化”的劝导建议，辅助驾驶员保持对路况的适当关注。该工具利用L3系统遇到的路况作为触发条件，通过视觉和听觉途径主动引导驾驶员行为。实验结果表明，该工具能够有效维持驾驶员的注意力，降低认知负荷，并协调次要任务与接管行为。这项工作揭示了使用LLM在多任务自动驾驶中支持驾驶员的潜力。

🔬 方法详解

问题定义：L3级自动驾驶允许驾驶员在一定程度上脱离驾驶，从事次要任务，但这种状态会降低驾驶员对路况的警觉性。当系统需要驾驶员接管时，驾驶员可能因为注意力分散而无法及时做出反应。现有方法缺乏有效手段来平衡驾驶员的次要任务参与和对路况的关注，导致潜在的安全风险。

核心思路：本研究的核心思路是利用大语言模型（LLM）的自然语言理解和生成能力，根据L3系统感知到的路况信息，生成具有说服力的建议，引导驾驶员调整其次要任务行为，从而保持对路况的适当关注。通过“人性化”的劝导，提高驾驶员对建议的接受度，降低认知负荷。

技术框架：该工具主要包含以下几个模块：1) 路况感知模块：L3自动驾驶系统提供实时的路况信息，例如前方车辆距离、车道线位置等。2) LLM劝导模块：根据路况信息，LLM生成具有针对性的劝导建议，例如“前方车辆靠近，建议暂停观看视频”等。3) 视觉和听觉呈现模块：将LLM生成的建议通过视觉和听觉两种方式呈现给驾驶员，例如在屏幕上显示文字提示，或通过扬声器播放语音提示。4) 驾驶员行为监控模块：监控驾驶员的眼动、头部姿态等行为，评估驾驶员的注意力水平。

关键创新：本研究的关键创新在于将大语言模型应用于辅助驾驶领域，利用LLM的自然语言生成能力，为驾驶员提供个性化的劝导建议。与传统的警告系统相比，LLM生成的建议更具人性化，更容易被驾驶员接受。此外，该工具能够根据不同的路况生成不同的建议，提高了劝导的针对性和有效性。

关键设计：LLM采用预训练的大型语言模型，并通过少量数据进行微调，使其能够生成符合驾驶场景的劝导建议。视觉呈现采用简洁明了的文字提示，避免分散驾驶员的注意力。听觉呈现采用清晰自然的语音，避免产生干扰。劝导建议的生成策略需要仔细设计，避免过度干扰驾驶员的次要任务，同时确保驾驶员能够及时关注路况。

📊 实验亮点

实验结果表明，使用该工具能够显著提高驾驶员在L3自动驾驶模式下的注意力水平，降低认知负荷。与没有劝导的基线相比，驾驶员的眼动追踪指标显示其对路况的关注度更高，反应时间更短。同时，驾驶员的主观评价也表明，该工具能够有效帮助他们平衡次要任务和驾驶任务。

🎯 应用场景

该研究成果可应用于L3及以上级别的自动驾驶系统，提升驾驶安全性。通过集成大语言模型，系统能够更智能地引导驾驶员行为，平衡次要任务参与和路况关注。未来，该技术还可扩展到其他需要人机协作的场景，例如远程医疗、工业控制等，提升人机交互的效率和安全性。

📄 摘要（原文）

Level 3 automated driving systems allows drivers to engage in secondary tasks while diminishing their perception of risk. In the event of an emergency necessitating driver intervention, the system will alert the driver with a limited window for reaction and imposing a substantial cognitive burden. To address this challenge, this study employs a Large Language Model (LLM) to assist drivers in maintaining an appropriate attention on road conditions through a "humanized" persuasive advice. Our tool leverages the road conditions encountered by Level 3 systems as triggers, proactively steering driver behavior via both visual and auditory routes. Empirical study indicates that our tool is effective in sustaining driver attention with reduced cognitive load and coordinating secondary tasks with takeover behavior. Our work provides insights into the potential of using LLMs to support drivers during multi-task automated driving.