Hallucination-aware Faithful Reasoning in Remote Sensing
作者: Yi Liu, Jing Zhang, Xiang Feng, Xiaoyu Tian, Haonan Guo, Di Wang, Zengmao Wang, Bo Du
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出FaithRS框架以解决遥感推理中的幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 遥感推理 幻觉检测 自我反思 安全检测器
📋 核心要点
- 现有的多模态大型语言模型在遥感推理中常产生与视觉证据不符的幻觉，导致推理结果不可靠。
- 本文提出了FaithRS框架，通过构建幻觉注释数据集和引入安全检测器，增强推理过程的可信性和准确性。
- 实验表明，使用Qwen3.5基础模型在四个遥感基准上均取得了显著提升，最高增幅达到11.64分。
📝 摘要（中文）
多模态大型语言模型（MLLMs）在遥感推理中展现出良好的能力，但常常生成与视觉证据不符的推理结果。现有的后训练方法主要优化最终答案的正确性，对推理过程中产生的幻觉识别和修正提供的监督有限。为了解决这一问题，本文提出了FaithRS，一个关注幻觉的自我反思框架，以实现遥感中的可信推理。我们首先构建了SFHD-43K数据集，包含43K个结构化、细粒度的幻觉注释，并训练了一个检测器来识别幻觉类型、潜在原因及支持的视觉证据。FaithRS将这些诊断反馈纳入安全检测器引导的修正回滚框架中，通过安全意识门控选择性地决定是否以及如何修正响应。训练通过一个复合奖励驱动，联合优化答案准确性、推理可信性、幻觉减少、格式合规性和修正安全性。实验结果表明，在Qwen3.5基础模型上，四个遥感基准测试均有一致性提升，最高增幅达到11.64分。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在遥感推理中产生的幻觉问题，现有方法主要关注最终答案的正确性，缺乏对推理过程中的幻觉识别和修正的有效监督。
核心思路：提出FaithRS框架，通过构建包含幻觉注释的数据集SFHD-43K，训练检测器识别幻觉类型及其原因，并将反馈纳入推理过程，以提高推理的可信性。
技术框架：整体架构包括幻觉检测模块和安全检测器引导的修正回滚模块。幻觉检测模块负责识别幻觉并提供反馈，修正模块则根据反馈决定是否修正推理结果。
关键创新：最重要的创新在于引入了幻觉检测与修正的自我反思机制，使得推理过程不仅关注最终答案的正确性，还能动态调整推理过程中的错误。
关键设计：在训练过程中，使用复合奖励机制，优化多个目标，包括答案准确性、推理可信性、幻觉减少等，同时设计了安全意识门控来控制修正的安全性。该设计确保了修正过程的可靠性与有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用Qwen3.5基础模型在四个遥感基准测试中均取得了显著提升，最高增幅达到11.64分，表明FaithRS框架在幻觉识别和推理可信性方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括遥感图像分析、环境监测、城市规划等。通过提高遥感推理的可信性，FaithRS框架能够为决策支持系统提供更为准确的分析结果，进而推动相关领域的智能化发展。
📄 摘要（原文）
Multimodal large language models (MLLMs) have demonstrated promising capabilities for remote sensing reasoning, yet they frequently generate visually unsupported reasoning that contradicts the visual evidence. Existing post-training methods optimize primarily for final-answer correctness, providing limited supervision for identifying and correcting hallucinations that arise during the reasoning process. To address this limitation, we propose \textbf{FaithRS}, a hallucination-aware self-reflection framework for faithful reasoning in remote sensing. We first construct \textbf{SFHD-43K}, a dataset of 43K structured, fine-grained hallucination annotations, and train a detector to identify hallucination types, underlying causes, and supporting visual evidence. FaithRS then incorporates this diagnostic feedback into a Safe Detector-Guided Corrective Rollout framework, where a safety-aware gate selectively determines whether and how to revise the response. Training is driven by a composite reward that jointly optimizes answer accuracy, reasoning faithfulness, hallucination reduction, format compliance, and revision safety. Experiments with Qwen3.5 backbones (0.8B, 4B, and 9B) show consistent improvements across four remote sensing benchmarks, with gains of up to 11.64 points.