Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis
作者: Tianqiao Zhao, Meng Yue, Jianhui Wang
分类: cs.AI, eess.SY
发布日期: 2026-07-27
💡 一句话要点
提出任务条件的多模态大语言模型可信度审计框架以解决电网诊断问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 电网诊断 可信度审计 证据门控机制 任务条件修正 行为变化分析 系统可靠性
📋 核心要点
- 现有的多模态大语言模型在电网诊断中虽然能提供准确答案，但无法确保所用证据的任务适应性，存在可信度不足的问题。
- 本文提出了一种任务条件的可信度审计框架，通过比较自我报告的依赖性与行为变化，确保模型使用了适当的证据。
- 通过对三种不同规模的LLMs进行案例研究，验证了该框架在检测和修正可信度失败方面的有效性，提升了模型的可靠性。
📝 摘要（中文）
多模态大语言模型（LLMs）能够结合拓扑结构、测量数据和事件文本进行电网诊断，但仅凭回答准确性无法确保使用了适当的任务证据。本文提出了一种通用框架，以进行任务条件的可信度审计。该框架首先注册任务特定的证据要求，并将其与自我报告的依赖性和在控制模态消融下的行为变化进行比较。为了解决检测到的差异，我们设计了一种证据门控的修正与再审计机制，能够在证据约束下重新生成失败的响应，并独立进行再消融以验证改进的基础而不损失性能。案例研究评估了三种不同规模的LLMs在IEEE 39和118总线场景下的表现，结果验证了该框架在检测、诊断和修正任务条件的可信度失败方面的能力。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在电网诊断中，尽管回答准确但缺乏任务适应性证据的问题。现有方法未能有效审计模型的证据使用情况，导致可信度不足。
核心思路：提出的框架通过注册任务特定的证据要求，并与自我报告的依赖性进行比较，识别出模型在证据使用上的不足，从而进行针对性的修正。
技术框架：框架包括证据要求注册、依赖性比较、行为变化分析、证据门控修正和再审计机制等主要模块。首先确定任务所需的证据，然后通过控制实验验证模型的行为变化，最后进行修正和再审计。
关键创新：最重要的创新在于设计了证据门控的修正与再审计机制，能够在证据约束下重新生成失败的响应，并独立验证改进的基础。这一机制与传统方法相比，提供了更为系统的审计和修正流程。
关键设计：在框架中，关键参数包括任务特定证据的定义、依赖性评估的标准，以及修正过程中使用的损失函数和网络结构设计，确保了模型在修正后的性能不下降。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在IEEE 39和118总线场景下，成功检测并修正了多模态大语言模型的任务条件可信度失败，显著提高了模型的可靠性和准确性，验证了框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括电力系统监控、故障诊断和智能电网管理等。通过提高多模态大语言模型在电网诊断中的可信度，能够有效提升电力系统的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multimodal large language models (LLMs) can combine topology, measurements, and incident text for grid diagnosis, yet answer accuracy does not establish that task-appropriate evidence was used. This letter proposes a general framework in order to conduct task-conditional faithfulness audit. It compares self-reported reliance, intervention-derived behavioral reliance, and preregistered engineering importance. The framework first registers task-specific evidence requirements and compares them with self-reported reliance and behavioral changes under controlled modality ablations. To resolve detected discrepancies, we design an evidence-gated correction and re-audit mechanism that regenerates failed responses under evidence constraints and independently re-ablates them to verify improved grounding without performance loss. Case studies evaluate three differently scaled LLMs on IEEE 39- and 118-bus scenarios. These results validate the framework ability to detect, diagnose, and correct task-conditional faithfulness failures.