TVIR: Building Deep Research Agents Towards Text--Visual Interleaved Report Generation

📄 arXiv: 2606.02320v1 📥 PDF

作者: Xinkai Ma, Zhiqi Bai, Dingling Zhang, Pei Liu, Yishuo Yuan, He Zhu, Jiakai Wang, Qianqian Xie, Yifan Zhao, Xinlong Yang, Hao Cong, Zhiheng Yao, Fengxia Xie, Zihao Xu, Haoran Xu, Zhaohui Wang, Minghao Liu, Shirong Lin, Yingshui Tan, Yuchi Xu, Wenbo Su, Zhaoxiang Zhang, Bo Zheng, Jiaheng Liu

分类: cs.CL

发布日期: 2026-06-01

💡 一句话要点

提出TVIR：构建深度研究Agent，用于生成文本-图像交错的报告

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态报告生成 深度研究Agent 文本图像交错 信息检索 知识图谱

📋 核心要点

  1. 现有深度研究Agent主要集中于文本，忽略了视觉元素的事实性和与文本分析的对齐。
  2. 论文提出TVIR-Agent，一个分层多Agent框架，用于生成文本-图像交错的报告，包含图像检索和图表生成。
  3. TVIR-Agent在TVIR-Bench上表现出强大的性能，验证了多模态设计和评估在报告生成中的重要性。

📝 摘要（中文）

深度研究Agent在多步骤信息检索、推理和长篇报告生成方面表现出强大的能力，但现有的基准和系统主要以文本为中心，对视觉元素的事实可靠性以及与周围分析的对齐情况的评估有限。为了解决这一差距，我们引入了TVIR（文本-图像交错报告生成），其中包括TVIR-Bench，这是一个包含100个专家策划的多模态深度研究任务的基准，这些任务要求视觉元素服务于特定的分析子目标；以及TVIR-Agent，一个分层多Agent框架，作为构建大纲、检索图像、生成具有可追溯来源的图表以及通过上下文感知的顺序写作来撰写报告的强大基线。我们进一步开发了一个结合文本评估和视觉评估的双路径评估框架。跨九个深度研究系统的实验表明，TVIR-Agent实现了强大的整体性能，突显了显式多模态设计和评估对于证据驱动的报告生成的重要性。

🔬 方法详解

问题定义：现有深度研究Agent在生成报告时，对视觉元素的使用和评估不足。具体来说，缺乏一个能够评估视觉元素的事实可靠性以及与文本分析对齐程度的基准。这限制了多模态深度研究Agent的发展，使其难以生成高质量的文本-图像交错报告。

核心思路：论文的核心思路是构建一个包含文本和视觉元素的多模态深度研究Agent，并提供相应的基准和评估方法。通过显式地设计Agent的各个模块，使其能够检索、生成和整合视觉信息，从而提升报告的质量和可靠性。同时，引入双路径评估框架，分别评估文本和视觉元素，确保整体报告的质量。

技术框架：TVIR-Agent采用分层多Agent框架，包含以下主要模块： 1. 大纲生成器：负责生成报告的大纲结构。 2. 图像检索器：根据大纲内容检索相关的图像。 3. 图表生成器：生成支持文本分析的图表，并提供可追溯的数据来源。 4. 报告撰写器：根据大纲、图像和图表，以上下文感知的方式顺序撰写报告。

关键创新：TVIR的关键创新在于： 1. TVIR-Bench基准：提供了一个包含100个多模态深度研究任务的基准，用于评估Agent生成文本-图像交错报告的能力。 2. TVIR-Agent框架：提出了一个分层多Agent框架，能够有效地检索、生成和整合视觉信息。 3. 双路径评估框架：结合文本评估和视觉评估，全面评估报告的质量。

关键设计：TVIR-Agent的关键设计包括： 1. 分层结构：将报告生成过程分解为多个子任务，每个子任务由一个独立的Agent负责，降低了任务的复杂度。 2. 上下文感知：报告撰写器能够根据上下文信息，选择合适的图像和图表，并将其整合到报告中。 3. 可追溯性：图表生成器能够提供数据来源，确保图表的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TVIR-Agent在TVIR-Bench上取得了显著的性能提升，证明了显式多模态设计和评估对于证据驱动的报告生成的重要性。具体性能数据和与其他基线的详细对比结果在论文中有更详细的描述，但总体而言，TVIR-Agent在报告的质量、事实性和一致性方面均优于其他方法。

🎯 应用场景

该研究成果可应用于自动化报告生成、智能信息检索、辅助决策支持等领域。例如，在金融分析、市场调研、科学研究等场景下，可以利用TVIR-Agent自动生成包含文本和视觉元素的报告，提高信息获取和分析的效率。未来，该技术有望进一步发展，实现更智能、更可靠的多模态信息处理。

📄 摘要（原文）

Deep Research Agents have shown strong capability in multi-step information retrieval, reasoning, and long-form report generation, but existing benchmarks and systems remain predominantly text-centric, with limited evaluation of whether visual elements are factually reliable and well aligned with the surrounding analysis. To address this gap, we introduce TVIR (Text--Visual Interleaved Report Generation), which includes TVIR-Bench, a benchmark of 100 expert-curated multimodal deep research tasks that require visual elements to serve specific analytical sub-goals, and TVIR-Agent, a hierarchical multi-agent framework that serves as a strong baseline for constructing outlines, retrieving images, generating charts with traceable sources, and composing reports through context-aware sequential writing. We further develop a dual-path evaluation framework that combines Textual Assessment and Visual Assessment. Experiments across nine deep research systems show that TVIR-Agent achieves strong overall performance, underscoring the importance of explicit multimodal design and evaluation for evidence-driven report generation.