The LLENS Platform for On-Premises Large Language Model Agents in a Japanese University Hospital: Development and Evaluation Study

📄 arXiv: 2610.32151v1 📥 PDF

作者: Ken Enda, Jien Saito, Masami Mukai, Feng Han, Emir Turkes, Tatsumi Kusakabe, Reona Umeki, Kazuhiro Sumiyoshi, Mitsuya Numata, Takumi Tanikawa, Akira Endoh, Kenji Hirata, Atsushi Yoshida, Kohsuke Kudo, Shinya Tanaka

分类: cs.CL, cs.AI

发布日期: 2026-10-23

备注: 49 pages, 3 figures, 6 tables, with supplementary material. Submitted to JMIR Medical Informatics

💡 一句话要点

提出LLENS平台以解决医院闭环网络中大型语言模型应用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床支持 闭环网络 电子健康记录 医疗文书处理 人工智能 医院信息系统

📋 核心要点

  1. 现有医院信息系统多运行在封闭网络中，导致大型语言模型难以应用于临床支持。
  2. LLENS平台通过在闭环网络中部署大型语言模型，结合多种组件实现文档处理与交互访问。
  3. 实验结果显示，交互访问的准确率达到97.2%，相较于固定检索提高了15.9个百分点，展现出显著的性能提升。

📝 摘要（中文）

大型语言模型代理可以帮助医生处理电子健康记录和文书工作，但许多医院的信息系统运行在封闭网络中，因此模型和代理必须在内部运行。本文设计、实现并部署了LLENS，一个在北海道大学医院的闭环网络中运行的临床支持AI代理平台，使用8个NVIDIA H200 GPU和开放权重模型Kimi K2.6（约1万亿参数）。该平台包含10个组件，支持文档读取、全文本输入、网络隔离沙箱等功能。实验表明，在医院文档的180个问题中，交互访问的准确率达到97.2%，显著高于固定检索的81.3%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在医院闭环网络中应用的挑战，现有方法无法有效利用这些模型处理电子健康记录和文书工作。

核心思路：论文提出LLENS平台，通过在封闭网络内集成大型语言模型和多种功能组件，实现高效的临床支持与文档处理。

技术框架：LLENS平台由10个主要组件构成，包括页面图像读取、全文本输入、路径寻址文档树、网络隔离沙箱等，整体架构支持多用户并发请求。

关键创新：该平台的创新在于其在闭环网络中实现了大型语言模型的高效应用，尤其是交互访问功能显著提高了文档处理的准确性。

关键设计：选择Kimi K2.6模型作为基础，设定了特定的参数和结构，确保在处理医院文档时的高效性和准确性。

📊 实验亮点

实验结果显示，LLENS平台在处理医院文档的180个问题中，交互访问的平均准确率达到97.2%，相比固定检索提高了15.9个百分点，展现出显著的性能提升，能够同时支持16个并发请求，处理速度达到908个token/s。

🎯 应用场景

LLENS平台的潜在应用领域包括医院的临床支持、电子健康记录管理和医疗文书处理。通过提高文档处理的效率和准确性，该平台能够减轻医生的工作负担，提升医疗服务质量，未来可能在更多医院推广应用。

📄 摘要（原文）

Large language model agents that use tools could take on part of the electronic health record and desk work that occupies physicians' time, but in many hospitals the medical information systems run inside closed networks, so the model and the agent harness must also sit inside. We designed, implemented, and deployed LLENS, a clinical support AI agent platform that runs inside the closed network of Hokkaido University Hospital on one host with 8 NVIDIA H200 GPUs, the open-weight model Kimi K2.6 (~1 trillion parameters), and a web application rebuilt from Open WebUI. The harness has 10 components, including page image reading, full-text attachment input, a path-addressed document tree without a vector index, a network-isolated sandbox, artifact return, self-checking of generated output, subagents, and saved procedures. Kimi K2.6 was chosen from 3 open-weight candidates and scored 480/500 on the 2026 Japanese Medical Licensing Examination; it generated 119 tokens/s for one user and served 16 concurrent requests at 908 tokens/s in total. On 180 questions over hospital documents (3 seeds each), mean accuracy was 10.7% with no documents, 81.3% with fixed retrieval (top 10 chunks of one lexical search), and 97.2% with interactive access, in which the model reads with document tools and the sandbox (15.9 percentage points above fixed retrieval, 95% CI 10.9-21.3); the difference lay in filtering/counting questions (16.7% vs 87.8%). Five scenarios with synthetic data ran on combinations of the components: needlestick injury response, batch adverse event grading, scanned referral letter transcription, falls data aggregation and plotting, and investigation of 3 topics by subagents. The platform has run on the hospital network since September 14, 2026.