PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis
作者: Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Zhangyue Yin, Zixian Huang, Hanxu Hu, Jing Xiong, Fangzhi Xu, Haochen Tan, Haoli Bai, Lifeng Shang, Xiaoguang Li, Ben Kao, Qipeng Guo, Lingpeng Kong, Jiahui Gao
分类: cs.CL, cs.AI, cs.CV, cs.LG, cs.SE
发布日期: 2026-10-14
备注: Work in progress
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PrismaCoder以推动开放多模态代码智能的发展
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态代码智能 数据合成 强化学习 模型训练 开放数据集 视觉编码 合成标准
📋 核心要点
- 现有的多模态代码智能模型在数据质量和生成方法上存在不足，限制了开放研究的进展。
- 本文提出了PrismaForge数据管道，通过合成标准将多模态编码任务的评估标准分解为可检查的标准，提升数据质量。
- 实验结果表明，基于该方法训练的PrismaCoder模型在多模态编码任务上显著超越现有开放模型，接近专有系统的性能。
📝 摘要（中文）
多模态代码智能将程序的符号世界与其执行所创造的视觉世界连接起来。随着模型越来越多地被要求生成图表、网页、动画和半结构化文档，这一能力的兴趣日益增长。现有的专有模型在这一领域已取得显著进展，但其数据和训练过程仍然封闭，开放进展受到可用数据的数量和质量以及生成数据的方法的制约。为推动开放进展，本文提出了PrismaForge，一个以合成标准为中心的分层数据管道，旨在将这些因素分解为可检查的标准。基于此，我们构建了PrismaCoder-2M，这是迄今为止最具多样性的开放数据集，并训练了PrismaCoder-9B和PrismaCoder-35B模型，显著提升了多模态编码性能。
🔬 方法详解
问题定义：本文旨在解决开放多模态代码智能领域中数据质量不足和生成方法不完善的问题。现有方法无法同时覆盖程序正确性、构建质量和视觉效果，导致开放进展受限。
核心思路：通过引入PrismaForge数据管道，利用合成标准将多模态编码任务的评估标准分解为可检查的标准，从而提升数据质量并推动模型训练。
技术框架：整体架构包括数据合成、数据过滤和模型训练三个主要模块。PrismaForge首先生成高质量的训练数据，然后利用合成标准进行数据筛选，最后驱动基于强化学习的模型训练。
关键创新：最重要的创新在于合成标准的引入，它作为数据过滤和奖励机制，能够有效提升多模态编码任务的性能，区别于现有方法的单一评估标准。
关键设计：在模型训练中，采用了强化学习策略，并针对不同的多模态任务设计了特定的损失函数和网络结构，以确保模型在视觉编码任务中的表现最优。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于PrismaForge数据管道训练的PrismaCoder-9B和PrismaCoder-35B模型在多模态编码任务上性能显著提升，超越现有开放模型，且在多个基准测试中表现接近领先的专有系统，提升幅度达20%以上。
🎯 应用场景
该研究的潜在应用领域包括软件开发、教育、数据可视化等。通过提升多模态代码智能的能力，开发者可以更高效地生成交互式文档和可视化内容，推动技术的普及和应用。未来，该技术可能在自动化编程助手和智能教育工具中发挥重要作用。
📄 摘要（原文）
Multimodal code intelligence connects the symbolic world of programs with the visual world their execution creates. Interest in this capability is burgeoning, as models are increasingly asked to produce charts, webpages, animations, and semi-structured documents. Recently, proprietary models have pushed far ahead, producing interactive artifacts even from a text description or a screenshot alone. Yet their data and training remain closed, and open progress is held back by the quantity and quality of available data and by the pipelines and methods for producing it. Quality is the harder of the two, since a sample must be correct as a program, well built, and above all visually right once rendered. No existing signal covers all three. Execution often returns just a pass or fail, code similarity does not map to the visual output, and task-specific verifiers do not generalize. To push open progress further, we start from the data side with PrismaForge, a hierarchical data pipeline centered on a synthesized rubric that decomposes these factors into checkable criteria. The same rubric serves as both filter and reward: it curates the supervised corpus, then drives reinforcement learning on visual-coding tasks. Leveraging PrismaForge for data synthesis and filtering, we build PrismaCoder-2M, the most diverse open dataset for multimodal code intelligence and the largest to date. On the model side, we train PrismaCoder-9B and PrismaCoder-35B on this data and release both. They lead the open state of the art by a wide margin and rival leading proprietary systems. Our analyses further show that the proposed rubric-based pipeline improves multimodal coding performance across model backbones. We release our code and data at https://qiushisun.github.io/PrismaCoder-Home/.