Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
作者: Feng Wang, Canmiao Fu, Zhipeng Huang, Chen Li, Jing Lyu, Ge Li
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2026-07-09
备注: 16 pages, 7 figures, 8 tables. Project page: https://caseclose.github.io/cma-harness/ Code: https://github.com/caseclose/cma-harness
🔗 代码/项目: GITHUB | PROJECT_PAGE
💡 一句话要点
提出认知结构多模态智能体以解决长时段多模态对话问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态理解 长时段对话 视觉记忆 强化学习 智能体设计
📋 核心要点
- 现有的多模态模型在长时段对话中面临视觉令牌爆炸和跨轮次引用不可靠的问题，限制了其性能。
- 本文提出认知结构多模态智能体，通过外部化视觉信息和选择性激活情节，提升多模态对话的理解与生成能力。
- 实验结果表明，8B智能体在20轮对话中实现91.4%的检索准确率，显著优于32B基线，并且推理时间几乎减半。
📝 摘要（中文）
近年来，统一的多模态模型展示了单一架构可以共同执行视觉/语言理解和图像生成/编辑。然而，现有方法在处理长时段多模态对话时，由于视觉令牌的爆炸和跨轮次引用的不可靠性，面临限制。为此，本文提出了一种认知结构多模态智能体，将视觉信息外部化为情节视觉记忆，并在推理过程中选择性地重新激活相关情节。该智能体包括结构化视觉抽象的感知抽象引擎、跨轮次记忆检索的认知检索引擎和自主任务推理与行动规划的多模态执行控制器。我们还开发了统一场景引擎，程序化生成带有细粒度检索注释的结构化多轮对话，支持强化学习优化抽象和检索策略。我们的8B智能体在20轮会话中实现了91.4%的检索准确率，超越32B基线8.2%，同时几乎将每轮推理时间减半。
🔬 方法详解
问题定义：本文旨在解决现有多模态模型在长时段对话中由于视觉令牌爆炸和跨轮次引用不可靠而导致的性能限制。
核心思路：提出认知结构多模态智能体，通过将视觉信息外部化为情节视觉记忆，并在推理时选择性地激活相关情节，从而提高对话的连贯性和准确性。
技术框架：该智能体由三个主要模块组成：感知抽象引擎用于结构化视觉抽象，认知检索引擎用于跨轮次记忆检索，以及多模态执行控制器用于自主任务推理和行动规划。
关键创新：最重要的创新在于引入情节视觉记忆和跨轮次检索机制，使得智能体能够在长时段对话中有效管理和利用视觉信息，显著提升了对话的理解和生成能力。
关键设计：在设计中，采用了强化学习优化抽象和检索策略，并构建了统一场景引擎以生成带有细粒度检索注释的多轮对话，确保了模型的训练数据丰富性和多样性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，8B智能体在20轮对话中实现91.4%的检索准确率，超越32B基线8.2%，同时将每轮推理时间从23.1秒减少至12.7秒，展示了显著的性能提升和效率优化。
🎯 应用场景
该研究的潜在应用领域包括智能客服、虚拟助手和教育领域等，能够提升多模态交互的自然性和效率。未来，该技术可能推动更复杂的多模态系统的发展，使其在实际应用中更具智能化和适应性。
📄 摘要（原文）
Recent unified multimodal models show a single architecture can jointly perform vision/language understanding and image generation/editing. However, they repeatedly feed all historical visual and textual inputs into a shared context window, limiting long-horizon multimodal dialogue due to visual token explosion and unreliable cross-turn referencing. We propose a Cognitive-structured Multimodal Agent that externalizes visual information into an Episodic Visual Memory and selectively reactivates relevant episodes during reasoning. The agent consists of a Perceptual Abstraction Engine for structured visual abstraction, a Cognitive Retrieval Engine for cross-turn memory retrieval, and a Multimodal Executive Controller for autonomous task inference and action planning. To address the lack of turn-level retrieval supervision in existing datasets, we develop a Unified Scenario Engine that programmatically generates structured multi-turn conversations with fine-grained retrieval annotations, enabling reinforcement learning to optimize abstraction and retrieval policies. We also construct a long-horizon visual-dialogue benchmark stratified by difficulty to evaluate episodic visual recall. Our 8B agent achieves 91.4% retrieval accuracy over 20-turn sessions, surpassing 32B baselines by +8.2% while nearly halving per-turn inference time (23.1s -> 12.7s). We further present the Cognitive-structured Multimodal Agent Harness (CMA-Harness), a tool-augmented deployment of the same cognitive structure integrating persistent multimodal memory, web access, image generation/editing/composition tools, and OpenAI-compatible serving. Structured memory and modular decision-making offer a more scalable, efficient paradigm for long-horizon multimodal agents than monolithic parameter scaling. Code: https://github.com/caseclose/cma-harness ; Project page: https://caseclose.github.io/cma-harness/