JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence
作者: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Lei Li, Kai Chen, Qipeng Guo, Ben Kao, Fei Yuan
分类: cs.AI, cs.CL, cs.CV, cs.SE
发布日期: 2025-10-27
备注: Work in progress
🔗 代码/项目: GITHUB
💡 一句话要点
JanusCoder：构建用于代码智能的基础视觉-程序化接口
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码智能 视觉-程序化接口 多模态学习 代码生成 数据合成
📋 核心要点
- 现有神经代码智能方法难以处理程序生成的视觉输出，缺乏高质量多模态代码数据。
- 提出JanusCoder，通过统一的模型，从文本指令、视觉输入或两者组合生成代码，建立视觉-程序化接口。
- 构建了大规模多模态代码语料库JanusCode-800K，实验表明JanusCoder系列模型性能优越，接近甚至超过商业模型。
📝 摘要（中文）
神经代码智能的范围正迅速扩展，超越了基于文本的源代码，涵盖了程序生成的丰富视觉输出。这种视觉维度对于灵活的内容生成以及精确的、程序驱动的可视化编辑等高级应用至关重要。然而，高质量多模态代码数据的稀缺阻碍了进展，这是由于合成和质量评估方面的挑战造成的。为了应对这些挑战，我们从数据和建模的角度做出了贡献。我们首先介绍了一个完整的合成工具包，该工具包利用数据模态之间的互惠协同作用，高效地生成一个大规模、高质量的语料库，涵盖从标准图表到复杂的交互式Web UI和代码驱动的动画。利用这个工具包，我们构建了迄今为止最大的多模态代码语料库JanusCode-800K。这为我们模型JanusCoder和JanusCoderV的训练提供了支持，这些模型建立了一个视觉-程序化接口，用于从文本指令、视觉输入或两者的组合生成代码。我们的统一模型与为孤立任务构建专用模型的现有方法不同。在以文本为中心和以视觉为中心的编码任务上的大量实验表明，JanusCoder系列的性能优越，我们的7B到14B规模模型接近甚至超过了商业模型的性能。此外，广泛的分析提供了关于协调程序逻辑与其视觉表达的关键见解。我们的代码和检查点可在https://github.com/InternLM/JanusCoder获得。
🔬 方法详解
问题定义：论文旨在解决神经代码智能领域中，缺乏高质量多模态代码数据，以及现有方法难以有效利用视觉信息的问题。现有方法通常是针对特定任务构建专用模型，无法实现通用性和灵活性。此外，如何将程序逻辑与视觉表达进行有效协调也是一个挑战。
核心思路：论文的核心思路是构建一个统一的视觉-程序化接口，通过一个模型同时处理文本和视觉输入，生成代码。通过大规模多模态数据的训练，使模型能够理解文本指令和视觉信息之间的关系，并生成相应的代码。这种统一的模型能够更好地泛化到不同的任务，并实现更灵活的应用。
技术框架：JanusCoder的技术框架主要包括数据合成工具包、大规模多模态代码语料库JanusCode-800K以及统一的JanusCoder和JanusCoderV模型。数据合成工具包用于高效生成高质量的多模态数据，JanusCode-800K作为训练数据，JanusCoder和JanusCoderV模型则负责从文本和视觉输入生成代码。模型采用Transformer架构，并针对多模态输入进行了优化。
关键创新：论文的关键创新在于提出了一个统一的视觉-程序化接口，能够同时处理文本和视觉输入，并生成代码。与现有方法相比，JanusCoder不是针对特定任务构建专用模型，而是通过一个统一的模型来处理不同的任务，从而提高了模型的通用性和灵活性。此外，论文还提出了一个数据合成工具包，能够高效生成高质量的多模态数据，解决了数据稀缺的问题。
关键设计：数据合成工具包的设计考虑了数据模态之间的互惠协同作用，能够生成从标准图表到复杂的交互式Web UI和代码驱动的动画等多种类型的数据。JanusCoder和JanusCoderV模型采用了Transformer架构，并针对多模态输入进行了优化。具体的网络结构和参数设置在论文中进行了详细描述。损失函数的设计也考虑了文本和视觉信息之间的关系，以提高模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，JanusCoder系列模型在文本和视觉编码任务上均表现出色，7B到14B规模的模型性能接近甚至超过了商业模型。在JanusCode-800K数据集上进行了大量实验，验证了模型的有效性。此外，论文还对程序逻辑与视觉表达的协调进行了深入分析，为未来的研究提供了有价值的见解。
🎯 应用场景
JanusCoder具有广泛的应用前景，包括自动化代码生成、可视化内容编辑、交互式Web UI开发、代码驱动的动画生成等。它可以帮助开发者更高效地生成代码，并实现更灵活的可视化应用。此外，JanusCoder还可以应用于教育领域，帮助学生更好地理解代码和可视化之间的关系。
📄 摘要（原文）
The scope of neural code intelligence is rapidly expanding beyond text-based source code to encompass the rich visual outputs that programs generate. This visual dimension is critical for advanced applications like flexible content generation and precise, program-driven editing of visualizations. However, progress has been impeded by the scarcity of high-quality multimodal code data, a bottleneck stemming from challenges in synthesis and quality assessment. To address these challenges, we make contributions from both a data and modeling perspective. We first introduce a complete synthesis toolkit that leverages reciprocal synergies between data modalities to efficiently produce a large-scale, high-quality corpus spanning from standard charts to complex interactive web UIs and code-driven animations. Leveraging this toolkit, we construct JanusCode-800K, the largest multimodal code corpus to date. This powers the training of our models, JanusCoder and JanusCoderV, which establish a visual-programmatic interface for generating code from textual instructions, visual inputs, or a combination of both. Our unified model is a departure from existing approaches that build specialized models for isolated tasks. Extensive experiments on both text-centric and vision-centric coding tasks demonstrate the superior performance of the JanusCoder series, with our 7B to 14B scale models approaching or even exceeding the performance of commercial models. Furthermore, extensive analysis provides key insights into harmonizing programmatic logic with its visual expression. Our code and checkpoints will are available at https://github.com/InternLM/JanusCoder.