From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b
作者: Taeyun Roh, Eunha Lee, Wonjune Jang, Sohyun Chung, Junha Jung, Jaewoo Kang
分类: cs.CL, cs.AI
发布日期: 2026-07-07
备注: 15 pages
💡 一句话要点
提出针对生物医学问答的LLM框架以提升答案稳健性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物医学问答 大型语言模型 证据整合 推理策略 多代理架构
📋 核心要点
- 现有的生物医学问答方法在信息提取和证据整合方面存在不足，导致答案的稳健性和可靠性不足。
- 论文提出了一种问题类型特定的LLM框架，通过为不同类型的问题选择不同的推理策略来提升答案的稳健性。
- 在BioASQ 14b任务的官方评估中，该框架在多个批次中表现优异，特别是在Batch 4的事实子任务中获得第一名。
📝 摘要（中文）
生物医学问答不仅需要从科学文献中准确提取信息，还需可靠整合多文献证据。本研究提出了一种针对问题类型的特定大型语言模型（LLM）框架，旨在提高生物医学问答的答案稳健性和证据基础。该框架根据问题的不同推理和评估需求，为是非题、事实题和列表题选择不同的推理程序。通过初步实验确定有效的推理策略，并在BioASQ 14b任务中评估，结果显示该框架在多个批次中表现出竞争力，并在Batch 4的事实子任务中获得第一名。
🔬 方法详解
问题定义：本研究旨在解决生物医学问答中信息提取和证据整合的挑战，现有方法往往无法有效处理不同类型的问题，导致答案的可靠性不足。
核心思路：提出了一种针对问题类型的特定LLM框架，通过为是非题、事实题和列表题选择不同的推理程序，来提高答案的稳健性和证据基础。
技术框架：该框架包括多个模块：对于是非题，采用片段重排和自我反思来减少对证据顺序的敏感性；对于事实题，结合完整片段输入和基于思维链的上下文学习以支持准确的生物医学实体识别；对于列表题，采用多代理架构，协同处理证据提取、候选生成、答案验证和最终聚合。
关键创新：最重要的创新在于结合了问题类型特定的推理、集成预测和基于代理的验证，这与现有方法的单一推理策略形成鲜明对比。
关键设计：在设计中，针对不同问题类型设置了特定的参数和损失函数，确保模型能够有效处理各类问题的独特需求。
🖼️ 关键图片
📊 实验亮点
在BioASQ 14b任务的官方评估中，该框架在多个批次中表现出色，尤其是在Batch 4的事实子任务中获得第一名，显示出其在生物医学问答中的有效性和竞争力。与基线相比，框架在答案稳健性和证据整合方面有显著提升。
🎯 应用场景
该研究的潜在应用领域包括生物医学文献检索、临床决策支持系统和科学研究辅助工具。通过提高生物医学问答的准确性和可靠性，该框架能够为医生、研究人员和患者提供更为有效的信息支持，推动生物医学领域的知识传播和应用。
📄 摘要（原文）
Biomedical question answering requires not only accurate extraction of information from scientific literature but also reliable integration of evidence across multiple documents. This study presents a question-type-specific large language model (LLM) framework for BioASQ 14b Task B, designed to improve answer robustness and evidence grounding in biomedical question answering. Rather than applying a single prompting strategy to all questions, the framework selects different inference procedures for yes/no, factoid, and list questions according to their distinct reasoning and evaluation requirements. For yes/no questions, snippet shuffling and self-reflection are used to reduce sensitivity to evidence ordering and improve decision stability. For factoid questions, full-snippet input is combined with chain-of-thought-based in-context learning to support accurate biomedical entity identification. For list questions, a multi-agent architecture is employed, in which evidence extraction, candidate generation, answer verification, and final aggregation are handled collaboratively. Preliminary experiments on BioASQ 13b were used to identify effective inference strategies for each question type, and the resulting framework was subsequently evaluated in the official BioASQ 14b Task B challenge. In the official evaluation, our framework showed competitive performance across multiple batches and achieved first place in the factoid subtask of Batch 4. These results demonstrate the effectiveness of combining question-type-specific inference, ensemble prediction, and agent-based verification for reliable biomedical question answering.