Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026

📄 arXiv: 2607.09623v1 📥 PDF

作者: Nirjhar Das, Md. Al-Mamun Provath

分类: cs.CL, cs.AI

发布日期: 2026-07-10

备注: 10 pages, 1 figure. Accepted at the EMM-QA 2026 Workshop, ICML 2026 (Non-Archival). Rank #1 overall system in the QANTA 2026 Challenge

💡 一句话要点

提出任务特定的多模态问答代理以解决QANTA 2026挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问答 信心校准 增量推理 任务特定架构 GPT-4模型 教育技术 智能助手

📋 核心要点

  1. 现有的多模态问答系统在处理不确定性和答案选择时存在效率低下的问题。
  2. 论文提出了一种任务特定的双代理架构，分别针对Tossup和Bonus问题设计了不同的推理策略。
  3. 实验结果显示，该系统在排行榜上取得了0.402的最高得分，证明了其在资源受限环境下的有效性。

📝 摘要（中文）

本文介绍了我们在2026年ICML高效多模态问答研讨会的QANTA 2026共享挑战中的提交。QANTA评估多模态问答系统，要求在逐步揭示的文本和图像下回答金字塔式问题。挑战包括两项任务：Tossup问题需要在不确定性下决定何时回答，而Bonus问题强调准确的答案选择和人类采纳。为应对这些不同目标，我们开发了任务特定的双代理架构。我们的Tossup代理使用经过信心校准的回答和领域特定的数值推理策略，而Bonus代理则通过结构化关系推理和多模态证据整合来提高答案选择的准确性。我们的系统在资源受限的多模态问答基准上表现出色，取得了最高的总排行榜得分0.402。

🔬 方法详解

问题定义：本文旨在解决多模态问答系统在处理金字塔式问题时的效率和准确性问题。现有方法在不确定性下的决策和答案选择上存在不足，导致性能下降。

核心思路：我们设计了一个任务特定的双代理架构，Tossup代理专注于不确定性下的回答时机，而Bonus代理则强调准确的答案选择。通过信心校准和结构化推理，我们能够有效提升系统的整体表现。

技术框架：系统由两个主要模块组成：Tossup代理和Bonus代理。Tossup代理使用GPT-4o-mini-class模型，结合信心校准和数值推理策略；Bonus代理则使用GPT-4o-class模型，结合多模态证据和关系推理。

关键创新：最重要的创新在于任务特定的推理策略和信心校准机制。这种设计使得系统能够在资源受限的环境中高效运行，而不依赖于传统的检索管道或模型集成。

关键设计：在Tossup代理中，采用了信心校准的回答机制，以减少过于自信的预测；而在Bonus代理中，利用了结构化关系推理和多模态证据整合，提升了答案选择的准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，系统在排行榜上取得了0.402的总得分，其中Tossup得分为0.238，Bonus效果得分为0.164。这表明，轻量级的任务特定推理策略在资源受限的多模态问答基准上表现出色。

🎯 应用场景

该研究的潜在应用领域包括教育、在线问答系统和智能助手等。通过提升多模态问答系统的效率和准确性，能够为用户提供更优质的交互体验，推动智能问答技术的发展。

📄 摘要（原文）

We present our submission to the QANTA 2026 shared challenge at the ICML 2026 Workshop on Efficient Multimodal Question Answering (EMM-QA). Quanta evaluates multimodal quizbowl systems that answer pyramid-style questions from incrementally revealed text and accompanying images while operating under realistic efficiency constraints. The challenge consists of two distinct tasks: Tossup questions, which require deciding when to answer under uncertainty, and Bonus questions, which emphasize accurate answer selection and human adoption. To address these differing objectives, we develop a task-specific two-agent architecture. Our Tossup agent utilizes a GPT-4o-mini-class model (referred to as GPT-4.1-mini in the competition logs) with confidence-calibrated answering and a domain-specific numeric reasoning policy that reduces overconfident predictions from isolated quantitative clues. Our Bonus agent uses GPT-4o-class model (referred to as GPT-4.1) with leadin-aware reasoning, structured relational reasoning, and multimodal evidence integration to improve exact answer selection. Rather than relying on a retrieval pipeline or model ensembles, our approach emphasizes efficient reasoning policies and confidence calibration within a hosted-only environment. Our system achieved the highest overall leaderboard score of 0.402, including a Tossup score of 0.238 and a Bonus Effect score of 0.164. The results demonstrate that lightweight, task-specific reasoning strategies can provide strong performance on resource-constrained multimodal question answering benchmarks.