BenCao: An Instruction-Tuned Large Language Model for Traditional Chinese Medicine
作者: Jiacheng Xie, Yang Yu, Yibo Chen, Hanyao Zhang, Lening Zhao, Jiaxuan He, Lei Jiang, Xiaoting Tang, Guanghui An, Dong Xu
分类: cs.CL, cs.AI, cs.MA, cs.MM, cs.SE
发布日期: 2025-10-20
💡 一句话要点
BenCao：一个面向中医的指令调优大型语言模型，实现多模态融合与专家知识对齐
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 中医 大型语言模型 指令调优 多模态融合 知识库 辅助诊断 舌象识别 自然语言处理
📋 核心要点
- 现有中医领域LLM缺乏多模态信息融合、可解释性以及临床实用性，难以满足实际需求。
- BenCao通过指令调优，融合结构化知识库、诊断数据和专家反馈，构建多模态中医助手。
- 实验表明，BenCao在诊断、草药识别和体质分类等任务上优于通用和中医领域模型。
📝 摘要（中文）
传统中医（TCM）拥有两千多年的历史，在全球医疗保健中发挥着重要作用。然而，由于中医依赖于整体推理、隐性逻辑和多模态诊断线索，将大型语言模型（LLM）应用于中医仍然具有挑战性。现有的中医领域LLM在基于文本的理解方面取得了一些进展，但缺乏多模态集成、可解释性和临床适用性。为了解决这些限制，我们开发了BenCao，一个基于ChatGPT的用于中医的多模态助手，集成了结构化知识库、诊断数据和专家反馈改进。BenCao通过自然语言指令调优而非参数再训练进行训练，与专家级推理和中医特有的伦理规范保持一致。该系统包含一个包含1000多部古典和现代文本的综合知识库、一个用于多样化交互的基于场景的指令框架、一个用于可解释推理的思维链模拟机制，以及一个涉及持牌中医从业者的反馈改进过程。BenCao连接到外部API，用于舌象分类和多模态数据库检索，从而能够动态访问诊断资源。在单选题基准和多模态分类任务的评估中，BenCao在诊断、草药识别和体质分类方面取得了优于通用领域和中医领域模型的准确性。该模型已作为交互式应用程序部署在OpenAI GPTs商店中，截至2025年10月，全球近1000名用户访问了该模型。这项研究证明了通过基于自然语言的指令调优和多模态集成开发中医领域LLM的可行性，为将生成式AI与传统医学推理对齐提供了一个实用的框架，并为实际部署提供了一条可扩展的途径。
🔬 方法详解
问题定义：现有中医领域的大型语言模型（LLM）在理解中医知识方面存在局限性，尤其是在多模态信息的整合、推理过程的可解释性以及临床应用的实用性方面。这些模型通常难以处理舌象等视觉信息，并且缺乏与中医专家知识的有效对齐，导致诊断准确率和可靠性不足。
核心思路：BenCao的核心思路是通过自然语言指令调优（instruction tuning）的方式，将大型语言模型与中医领域的专业知识进行对齐。该方法避免了对模型参数的重新训练，而是通过构建高质量的指令数据集，引导模型学习中医的推理模式和诊断逻辑。同时，BenCao集成了多模态信息，包括文本知识库和舌象等视觉数据，以提升模型的综合诊断能力。
技术框架：BenCao的整体架构包括以下几个主要模块：1) 综合知识库：包含1000多部古典和现代中医文本；2) 基于场景的指令框架：用于生成多样化的交互指令；3) 思维链模拟机制：用于生成可解释的推理过程；4) 反馈改进过程：由持牌中医从业者提供反馈，优化模型性能；5) 外部API连接：用于舌象分类和多模态数据库检索。
关键创新：BenCao最重要的技术创新点在于其基于自然语言指令调优的方法，以及多模态信息的集成。与传统的参数再训练方法相比，指令调优更加高效，并且能够更好地与中医专家的知识对齐。多模态信息的集成使得模型能够利用舌象等视觉信息进行诊断，从而提升诊断的准确性和可靠性。
关键设计：BenCao的关键设计包括：1) 构建高质量的指令数据集，涵盖中医诊断的各个方面；2) 设计思维链模拟机制，生成可解释的推理过程，例如“因为...所以...”，从而提高模型的可信度；3) 利用外部API进行舌象分类，将视觉信息融入诊断过程；4) 通过中医专家的反馈，不断优化模型的性能和知识对齐。
🖼️ 关键图片
📊 实验亮点
BenCao在单选题基准测试和多模态分类任务中表现出色，尤其在诊断、草药识别和体质分类方面，超越了通用领域和中医领域的其他模型。该模型已在OpenAI GPTs商店上线，截至2025年10月，全球已有近1000名用户使用，证明了其在实际应用中的可行性和价值。
🎯 应用场景
BenCao可应用于中医辅助诊断、健康咨询、中药知识普及等领域。它能够帮助医生提高诊断效率和准确性，为患者提供个性化的健康建议，并促进中医知识的传播。未来，BenCao有望成为连接中医专家和普通用户的桥梁，推动中医的现代化和国际化。
📄 摘要（原文）
Traditional Chinese Medicine (TCM), with a history spanning over two millennia, plays a role in global healthcare. However, applying large language models (LLMs) to TCM remains challenging due to its reliance on holistic reasoning, implicit logic, and multimodal diagnostic cues. Existing TCM-domain LLMs have made progress in text-based understanding but lack multimodal integration, interpretability, and clinical applicability. To address these limitations, we developed BenCao, a ChatGPT-based multimodal assistant for TCM, integrating structured knowledge bases, diagnostic data, and expert feedback refinement. BenCao was trained through natural language instruction tuning rather than parameter retraining, aligning with expert-level reasoning and ethical norms specific to TCM. The system incorporates a comprehensive knowledge base of over 1,000 classical and modern texts, a scenario-based instruction framework for diverse interactions, a chain-of-thought simulation mechanism for interpretable reasoning, and a feedback refinement process involving licensed TCM practitioners. BenCao connects to external APIs for tongue-image classification and multimodal database retrieval, enabling dynamic access to diagnostic resources. In evaluations across single-choice question benchmarks and multimodal classification tasks, BenCao achieved superior accuracy to general-domain and TCM-domain models, particularly in diagnostics, herb recognition, and constitution classification. The model was deployed as an interactive application on the OpenAI GPTs Store, accessed by nearly 1,000 users globally as of October 2025. This study demonstrates the feasibility of developing a TCM-domain LLM through natural language-based instruction tuning and multimodal integration, offering a practical framework for aligning generative AI with traditional medical reasoning and a scalable pathway for real-world deployment.