Multilingual Multimodal Software Developer for Code Generation

📄 arXiv: 2507.08719v1 📥 PDF

作者: Linzheng Chai, Jian Yang, Shukai Liu, Wei Zhang, Liran Wang, Ke Jin, Tao Sun, Congnan Liu, Chenchen Zhang, Hualei Zhu, Jiaheng Liu, Xianjie Wu, Ge Zhang, Tianyu Liu, Zhoujun Li

分类: cs.CL, cs.AI, cs.SE

发布日期: 2025-07-11

备注: Preprint

💡 一句话要点

提出MM-Coder：一个多语言多模态软件开发者，利用视觉工作流提升代码生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 代码生成 大型语言模型 视觉工作流 UML图 流程图 软件开发 指令调优

📋 核心要点

  1. 现有代码生成模型主要依赖文本输入，忽略了软件开发中常用的UML图和流程图等视觉信息。
  2. MM-Coder通过整合视觉工作流（UML图和流程图）与文本指令，提升代码生成的准确性和架构对齐。
  3. 论文构建了MMc-Instruct数据集和MMEval基准，实验表明模型在视觉信息理解和复杂指令执行方面仍有挑战。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展显著提升了代码生成能力，但大多数模型仍仅限于文本输入，忽略了实际软件开发中重要的视觉辅助工具，如UML图和流程图。为了弥补这一差距，我们推出了MM-Coder，一个多语言多模态软件开发者。MM-Coder集成了视觉设计输入（统一建模语言UML图和流程图，统称为视觉工作流）与文本指令，以提高代码生成的准确性和架构一致性。为此，我们开发了MMc-Instruct，一个多样化的多模态指令调优数据集，包括基于视觉工作流的代码生成，使MM-Coder能够像人类开发者一样综合文本和图形信息，这与先前在狭窄任务上的工作不同。此外，我们引入了MMEval，一个新的用于评估多模态代码生成的基准，解决了现有仅文本限制。我们使用MMEval的评估突出了模型在精确视觉信息捕获、指令遵循和高级编程知识方面仍然存在的重大挑战。我们的工作旨在通过使LLM能够解释和实现通过文本和视觉设计传达的复杂规范，从而彻底改变工业编程。

🔬 方法详解

问题定义：现有代码生成模型主要依赖文本输入，无法有效利用软件开发过程中常用的UML图、流程图等视觉信息。这导致生成的代码可能与设计意图不符，架构一致性较差，难以满足复杂软件开发的需求。现有方法缺乏对视觉信息的有效建模和利用，限制了代码生成模型的应用范围和实用性。

核心思路：MM-Coder的核心思路是将视觉工作流（UML图和流程图）与文本指令相结合，作为代码生成模型的输入。通过让模型同时理解文本描述和视觉设计，可以更准确地把握开发者的意图，生成更符合设计规范、架构一致性更高的代码。这种多模态输入的方式更贴近人类软件开发者的工作流程，能够提升代码生成的质量和效率。

技术框架：MM-Coder的技术框架主要包括以下几个部分：1) 多模态输入模块：负责接收文本指令和视觉工作流（UML图、流程图）作为输入。2) 多模态融合模块：将文本和视觉信息进行融合，形成统一的表示。具体融合方式未知。3) 代码生成模块：基于融合后的表示，生成目标代码。4) 评估模块：使用MMEval基准评估生成代码的质量。

关键创新：该论文的关键创新在于：1) 提出了一个多模态代码生成框架，能够同时处理文本和视觉信息。2) 构建了一个新的多模态指令调优数据集MMc-Instruct，用于训练MM-Coder。3) 提出了一个新的多模态代码生成评估基准MMEval，用于评估模型的性能。与现有方法相比，MM-Coder能够更好地理解和利用视觉信息，从而生成更准确、更符合设计规范的代码。

关键设计：论文中关于MM-Coder的具体网络结构、损失函数、参数设置等技术细节描述较少，属于未知信息。但可以推测，多模态融合模块可能是关键的设计点，需要考虑如何有效地将文本和视觉信息进行融合，并提取出对代码生成有用的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了MMEval基准，用于评估多模态代码生成模型。实验结果表明，现有模型在精确视觉信息捕获、指令遵循和高级编程知识方面仍存在显著挑战。虽然具体的性能数据和提升幅度未知，但该研究明确指出了多模态代码生成领域的研究方向和难点。

🎯 应用场景

MM-Coder具有广泛的应用前景，可应用于工业软件开发、自动化代码生成、低代码/无代码平台等领域。通过理解和利用视觉设计，MM-Coder可以帮助开发者更高效地生成高质量的代码，降低开发成本，缩短开发周期。未来，该技术有望推动软件开发模式的变革，实现更智能、更自动化的软件开发。

📄 摘要（原文）

The rapid advancement of Large Language Models (LLMs) has significantly improved code generation, yet most models remain text-only, neglecting crucial visual aids like diagrams and flowcharts used in real-world software development. To bridge this gap, we introduce MM-Coder, a Multilingual Multimodal software developer. MM-Coder integrates visual design inputs-Unified Modeling Language (UML) diagrams and flowcharts (termed Visual Workflow)-with textual instructions to enhance code generation accuracy and architectural alignment. To enable this, we developed MMc-Instruct, a diverse multimodal instruction-tuning dataset including visual-workflow-based code generation, allowing MM-Coder to synthesize textual and graphical information like human developers, distinct from prior work on narrow tasks. Furthermore, we introduce MMEval, a new benchmark for evaluating multimodal code generation, addressing existing text-only limitations. Our evaluations using MMEval highlight significant remaining challenges for models in precise visual information capture, instruction following, and advanced programming knowledge. Our work aims to revolutionize industrial programming by enabling LLMs to interpret and implement complex specifications conveyed through both text and visual designs.