Japanese Stroke LLM Evaluation: A Conversational Benchmark for Safe Stroke Care in Japanese Using Large Language Models

📄 arXiv: 2609.16739v1 📥 PDF

作者: Keisuke Masuda, Kazutaka Yatsushiro, Hirohumi Iwamoto, Hirofumi Hirano, Ryosuke Hanaya

分类: cs.CL

发布日期: 2026-09-15

💡 一句话要点

提出日本中风LLM评估以提升安全中风护理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 中风护理 临床评估 多轮对话 安全性评估 神经外科 医疗AI 性能基准

📋 核心要点

  1. 现有大型语言模型在临床历史采集和安全性评估方面的能力不足，亟需改进。
  2. 论文提出了一个多轮对话基准，专注于中风护理，旨在评估LLM在实际应用中的表现。
  3. 实验结果显示，部分模型在安全性和性能上达到了预设的标准，表现出显著提升。

📝 摘要（中文）

背景：大型语言模型（LLMs）在多项选择医学知识考试中表现出与医生相当的能力，但在临床历史采集、紧急评估和安全性方面的能力尚未得到充分评估。我们提出了日本中风LLM评估，这是一个针对中风护理的多轮对话基准，并在实践导向条件下评估LLM的性能和安全性。方法：我们创建了10个中风及相关疾病案例，并在多轮日语对话中评估LLM。LLM充当医生，而一名经过认证的神经外科医生充当模拟患者和评估者。每个案例包括历史采集和行动阶段，使用预先指定的标准进行评分。结果：Claude Fable 5以87.4%的最高分和零个关键错误获胜，随后是Claude Opus 4.7（80.3%）和GLM-5.2（75.6%）。结论：日本中风LLM评估为LLM在实践导向条件下的性能提供了基准，未来需要使用真实案例进行进一步评估。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在中风护理中的应用不足，特别是在临床历史采集和紧急评估方面的挑战。现有方法缺乏针对性评估，无法确保安全性。

核心思路：论文通过设计一个多轮对话基准，模拟真实的临床场景，评估LLM在中风护理中的实际表现，确保评估的专业性和有效性。

技术框架：整体架构包括案例创建、对话模拟和评估三个主要模块。案例由神经外科专家设计，LLM与模拟患者进行多轮对话，评估其历史采集和决策能力。

关键创新：最重要的创新在于采用了由专业人士设计的案例，而非依赖LLM进行自我评估，确保了评估的准确性和专业性。

关键设计：在评估中设定了安全阈值（至少80%且无关键错误），并通过历史采集问题数量与得分的相关性分析，优化了评估标准。实验中使用了18个模型，涵盖了云端和本地部署的多种情况。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Claude Fable 5以87.4%的得分和零个关键错误领先，符合安全标准的模型数量有所增加。相较于2025年，2026年模型的整体性能显著提升，部分模型达到了安全阈值。

🎯 应用场景

该研究的潜在应用领域包括医疗教育、临床决策支持和智能医疗系统。通过提供一个标准化的评估基准，可以帮助开发更安全、更有效的医疗AI系统，提升中风护理的质量和安全性。

📄 摘要（原文）

Background: Large language models (LLMs) have achieved physician-comparable performance on multiple-choice medical knowledge examinations, but their capabilities in clinical history taking, urgency assessment, and safety remain insufficiently evaluated. We proposed Japanese Stroke LLM Evaluation, a multi-turn conversational benchmark for stroke care in Japanese, and evaluated LLM performance and safety under practice-oriented conditions. Methods: We created 10 stroke and related-condition cases and evaluated LLMs in multi-turn Japanese conversations. The LLM acted as physician, while a board-certified neurosurgeon acted as simulated patient and evaluator. Each case comprised history-taking and action phases scored using pre-specified criteria. Errors that could directly threaten life were defined as critical mistakes. The safety threshold was at least 80% overall with zero critical mistakes. Eighteen models were evaluated in October 2025 and June 2026. Results: Claude Fable 5 achieved the highest score (87.4%) with zero critical mistakes, followed by Claude Opus 4.7 (80.3%) and GLM-5.2 (75.6%). Two leaders met the safety threshold. Eleven models made 17 critical mistakes, including failure to confirm laboratory results or blood glucose before t-PA, surgery before airway stabilization, omission of cervical vascular evaluation, and t-PA outside its indication. History-taking question count correlated with history-taking score (r = 0.648, p = 0.007). Conclusions: Japanese Stroke LLM Evaluation provides a benchmark for LLM performance under practice-oriented conditions, including a cap on history-taking questions. Cases and evaluations were created by neurosurgical specialists rather than using an LLM-as-judge approach. Performance improved across cloud-based and on-premise models in 2026, with some exceeding the safety threshold. Further evaluation using real-world cases is required.