Structured Reasoning Agentic Framework for Interpretable Critical View of Safety Assessment

📄 arXiv: 2609.31524v1 📥 PDF

作者: Qing Xu, Yuxiang Luo, Zhen Chen

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出ReasonCVS框架以解决腹腔镜胆囊切除术中的安全视图评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 安全视图评估 结构化推理 解剖场景图 视觉-语言模型 大语言模型 可解释人工智能 计算机辅助外科

📋 核心要点

  1. 现有的安全视图评估方法缺乏对解剖关系的明确推理，导致可解释性不足。
  2. 本文提出ReasonCVS框架，通过结构化推理将安全视图评估分解为细粒度的解剖验证。
  3. 在Endoscapes-CVS201基准上，ReasonCVS实现了68.1%的mAP，显著优于现有方法，并提供了可追溯的临床推理。

📝 摘要（中文）

手术场景理解对计算机辅助干预至关重要，但腹腔镜胆囊切除术因肝胆三角复杂解剖结构及胆管损伤风险而面临挑战。现有的安全视图评估方法通常将其视为整体预测任务，直接将视觉特征映射到标准级标签，这种黑箱模式缺乏对解剖关系的明确推理，限制了可解释性和组合泛化能力。为此，本文提出了ReasonCVS，一个基于视觉-语言模型的结构化推理代理框架，将安全视图评估分解为明确的细粒度解剖验证。通过引入解剖场景图抽象（ASGA），组织解剖实体及其空间关系，最终在Endoscapes-CVS201基准上实现了68.1%的mAP，超越了现有最先进方法，同时提供了可解释的标准级解释。

🔬 方法详解

问题定义：本文旨在解决腹腔镜胆囊切除术中安全视图评估的可解释性问题。现有方法将评估视为整体预测，缺乏对解剖结构的深入理解，导致评估结果的透明度不足。

核心思路：论文提出的ReasonCVS框架通过结构化推理，将安全视图评估分解为多个细粒度的解剖验证任务。通过引入视觉-语言模型，增强了对解剖关系的理解和推理能力。

技术框架：ReasonCVS框架包括解剖场景图抽象（ASGA）模块，用于组织解剖实体及其空间关系；一个基于大语言模型的推理代理，负责综合评估；以及一个子标准验证器，作为感知工具独立评估各个子标准。

关键创新：最重要的创新在于引入了解剖场景图抽象和基于推理的代理，使得评估过程不仅依赖于视觉特征，还能进行明确的解剖推理，从而提升了可解释性和组合泛化能力。

关键设计：在设计中，推理代理通过合理的软推理机制综合工具收集的分布式观察，最终生成可追溯的评估结果。模型的训练采用了基于推理蒸馏的方法，以增强其推理能力和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReasonCVS在Endoscapes-CVS201基准上实现了68.1%的mAP，显著优于现有最先进方法，且提供了可解释的标准级解释。这一结果表明，ReasonCVS不仅在性能上具有优势，同时在临床应用中也能提供更高的透明度和信任度。

🎯 应用场景

该研究的潜在应用领域包括计算机辅助外科手术、医疗图像分析和智能医疗系统。通过提供可解释的安全视图评估，ReasonCVS能够帮助外科医生更好地理解手术场景，降低手术风险，提高患者安全性。未来，该框架还可扩展到其他类型的手术评估和医疗决策支持系统中。

📄 摘要（原文）

Surgical scene understanding is critical for computer-assisted intervention, yet laparoscopic cholecystectomy remains challenged by the complex anatomy of the hepatocystic triangle and the risk of bile duct injury. Existing methods for Critical View of Safety (CVS) assessment typically treat it as a holistic prediction task, mapping visual features directly to criterion-level labels. This black-box paradigm lacks explicit reasoning about anatomical relationships, limiting both interpretability and compositional generalization. To address this, we propose ReasonCVS, a structured reasoning agentic framework empowered by Vision-Language Models (VLMs) that decomposes CVS assessment into explicit, fine-grained anatomical verification. Specifically, we devise an Anatomical Scene Graph Abstraction (ASGA) that organizes anatomical entities and their spatial relationships into a structured representation. To operationalize this, we introduce a Rationale-Aware Reasoning Agent, powered by a Large Language Model (LLM) fine-tuned via rationale distillation. Functioning as a strict central decision-maker, it invokes VLM-driven Sub-criterion Verifier as a specialized perceptual tool to parse the graph and independently evaluate individual sub-criteria. Through calibrated soft reasoning, this agent synthesizes the tool-gathered distributed observations, yielding a final verdict alongside a traceable clinical rationale. Extensive experiments on the Endoscapes-CVS201 benchmark demonstrate that ReasonCVS achieves superior performance (68.1\% mAP) over state-of-the-art while providing interpretable, criterion-level explanations for reliable surgical assessment.