GEIS: A Generation-Evaluation-Improvement Loop of Agent Skills for Long-Form Article Generation

📄 arXiv: 2607.11503v1 📥 PDF

作者: Jiale Zhang, Juntao Hu, Zhijian Ou

分类: cs.CL

发布日期: 2026-07-13

💡 一句话要点

提出GEIS以解决长篇文章生成中的信息覆盖与质量提升问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长篇文章生成 多代理系统 信息覆盖 质量评估 技能改进 模块化设计 自动化写作

📋 核心要点

  1. 现有的长篇文章生成方法在信息覆盖和质量提升方面存在不足，难以进行有效的迭代改进。
  2. GEIS通过生成、评估和改进的循环机制，提供了一种模块化的长篇文章生成方法，能够有效提升写作质量。
  3. 在20个主题的实验中，GEIS在PDF质量评分上提高了8.0分，并在内容质量上显著优于STORM。

📝 摘要（中文）

长篇文章生成对大型语言模型仍然是一个挑战，因为它涉及长上下文、长指令和长输出。现有的多代理管道如STORM通过模拟角色专用代理来改善信息覆盖，但其能力往往与提示和固定流程纠缠在一起，难以检查、重用或迭代改进。本文提出了GEIS（生成-评估-改进循环的代理技能），用于维基百科风格的长篇文章生成。GEIS在Tasi Harness中实现并评估，组合了文章写作、基于浏览器的证据和图像收集、图表渲染、PDF感知的成对评估和规则级技能改进等技能。实验结果表明，GEIS在20个维基百科特色文章主题上表现优异，显著提高了生成质量。

🔬 方法详解

问题定义：本文旨在解决长篇文章生成中信息覆盖不足和质量评估困难的问题。现有方法如STORM在能力上受到固定流程的限制，难以进行有效的迭代改进。

核心思路：GEIS通过生成、评估和改进的循环机制，采用命名和声明式技能，提供了一种可检查、可重用的长篇文章生成方法。这样的设计使得生成过程更加灵活和高效。

技术框架：GEIS的整体架构包括多个模块：文章写作、证据和图像收集、图表渲染、成对评估和技能改进。核心写作技能遵循请求、计划、草拟、审核、精炼和交付的步骤。

关键创新：GEIS的主要创新在于将长篇生成过程重构为一个可评估的、模块化的改进循环，与现有方法相比，提供了更高的灵活性和可操作性。

关键设计：在技能改进过程中，GEIS通过映射重复发现到写作技能的永久补丁，确保了持续的质量提升。实验中使用的PDF质量评分标准和成对评估方法也为评估提供了结构化的质量报告。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在20个维基百科特色文章主题的实验中，GEIS在100分的PDF质量评分上提高了8.0分，且在结构质量和内容质量上均优于STORM。经过技能改进，平均得分从82.90提升至86.95，17个主题得到了改善，主要提升来自内容质量。

🎯 应用场景

GEIS的研究成果可广泛应用于自动化内容生成、教育领域的写作辅助工具以及信息检索等场景。其模块化的设计使得未来可以在不同领域中进行灵活的调整和应用，提升生成内容的质量和相关性。

📄 摘要（原文）

Long-form article generation remains difficult for large language models because it combines long context, long instructions, and long outputs. Existing multi-agent pipelines such as STORM improve information coverage by simulating role-specialized agents, but their capabilities are often entangled in prompts and fixed procedures, making them hard to inspect, reuse, or iteratively improve. This paper presents GEIS (Generation-Evaluation-Improvement loop of agent Skills), a loop of named and declarative skills for Wikipedia-style long-form article generation. Implemented and evaluated in Tasi Harness, GEIS composes skills for article writing, browser-based evidence and image collection, diagram rendering, PDF-aware pairwise evaluation, and rule-level skill improvement. Its core writing skill follows Request, Plan, Draft, Audit, Refine, and Deliver; the pairwise evaluation skill produces structured quality reports; and the improvement skill maps recurrent findings into permanent patches to the writing skill in our 20-topic experiment. We evaluate GEIS on 20 Wikipedia Featured Article topics. Under the same generation backend, GEIS improves over the Tasi Harness default writer by 8.0 points on a 100-point PDF quality rubric and outperforms STORM on the two comparable writing dimensions, structural quality and content quality. In the 20-topic improvement experiment, the patched writing skill raises the average score from 82.90 to 86.95, with 17 out of 20 topics improved and the gain mainly coming from content quality. These results show that long-form generation can be reframed from a fixed workflow into an inspectable, modular, and evaluation-guided improvement loop.