IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
作者: A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, Chuan Shi, Feng Chang, Hongxin Li, Hongyuan Tao, Jinxing Zhang, Jujie He, Kun Wang, Lin Jing, Ming Yang, Qicheng Hu, Renyuan Li, Shark Liu, Shawn Guo, Shi Qing, Shi Zhong, Tianyu Zheng, Wei Liu, Wei Zhang, Wenrui Cai, Wenxiao Chen, Xuxing Chen, Yan Xing, Yi Xing, Yifan Luo, Yiran Xing, Yizhi Li, Yongsheng Kang, Yucheng Ding, Yue Song, Yun Qing, Yunqi Liu, Zelong Huang, Zhengmao Ye, Zhentao Fan, Zhiteng Li, Ziling Huang, Bihong Tang, Bingli Wang, Ce Jun, Changhao Chen, Chen Hu, Chen Xiao, Chi Liu, Chunjiang Ge, Danyang Li, Deyang Kong, Dian Qi, Ding Tan, Evan Yang, Fanglin Xu, Fei Bai, Gang Liu, Guochang Li, Hao Tang, Haoran Feng, Haowen Wang, Huahao Hu, Huanjin Yao, Huatong Song, Jia Deng, Jiajun Wu, Jialiang Cheng, Jiayi Liang, Jiayi Wu, Jie Deng, Jiejun Tan, Jing Yang, Jingda Xu, Junhang Cheng, Junxiao Liu, Kai Lv, Kaixiang Pan, Kecheng Lu, Kun Zeng, Kun Zheng, Kunbo Ding, Liang Qiu, Lingyi Sun, Luan Zhang, Mengxiao Lv, Ning Dong, Pei Wang, Peng Zhang, Qingsong Cai, Qixiang Yin, Qiyao Wang, Renbiao Liu, Renfei Dang, Ruihang Li, Ruirui Huang, Shanhui Yin, Shen Jian, Shengjie Fang, Shikai Li, Shinan Zhang, Shiqi Chen, Shuai Liu, Shuangqi Li, Shuo Tang, Shuqing Deng, Sijin Hao, Siwei Wu, Siyue Wang, Tao Hai, Tao Ren, TingYang Chen, Wei Shao, Weicheng Gu, Weihan Peng, Wenlong Miao, Xavier Yu, Xiangyuan Ji, Xiaocheng Li, Xiaodong Huang, Xiaohan Ge, Xiaoxiang Shi, Xiaoyang Zhang, Xiaoyu Yang, Xidong Wang, Xin Li, Xinyu Tang, Xiyuan Yang, Xudong Ma, Ya Tong, Yachao Wang, Yang Tian, Yaxin Du, Yeli Ruan, Yi Wang, Yi Yu, Yibin Feng, Yibo Tan, Yihang Wang, Yiming Ju, Yinda Chen, Yinda Chen, Yingjie Du, Yiwei Liu, Yizhi Zhou, Yuan Wei, Yuli Chen, Yuqi Zhu, Yuwen Li, Yuxi Dong, Yuxuan Zhang, Yuyang Song, Zhange Zhang, Zhaohan Zhang, Zhaoyi Li, Zhen Zhang, Zhengbo Zhang, Zhihang Hu, Zhiwei Yu, Zhixin Xie, Zhiyu Chen, Zhizhao Luo, Zhongyuan Wu, Zhou Fang, Zhu Lin, Zhuocheng Gong, Zixi Zhao, Ziyang Zeng, Ziyi Wang, Ziyu Zhao, Ran Tao, Mingjie Tang, Chuan Hao, Peihao Wu, Jianzhou Wang, Nan Jiang, Yuan Zhi, Bryan Dai
分类: cs.CL
发布日期: 2026-10-22
备注: IQuest Report
💡 一句话要点
提出IQuest-Q1以提升智能CLI系统的基础能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 混合专家模型 智能基础模型 多阶段训练 模型合并 智能编码能力
📋 核心要点
- 现有的智能基础模型在处理复杂任务时常常面临效率低下和稳定性不足的问题。
- IQuest-Q1通过稀疏混合专家架构和多阶段训练流程，提升了模型的学习效率和稳定性。
- 实验结果表明，IQuest-Q1在编码和通用任务上表现优异，显著超越了现有基线模型。
📝 摘要（中文）
我们提出了IQuest-Q1，这是一个稀疏的混合专家（MoE）智能基础模型，具有3200亿总参数（激活参数为150亿）。IQuest-Q1的开发经历了三个阶段：首先，通过结合Stable SplitNorm、Muon和muP进行稳定高效的预训练，并采用两阶段课程学习，确保安全与最佳学习率之间的稳定边际；其次，在中期训练中，跨领域和格式扩展数据混合，并逐步延长上下文；最后，通过多版本后训练，结合SFT、领域专用强化学习和MOPD，整合互补训练信号，增强智能编码能力。此外，模型合并技术有效地结合了不同阶段的专家和检查点，减少参数更新之间的冲突。最终的IQuest-Q1在编码和一般任务中展现了出色的能力，并作为开源模型发布，以支持社区研究与开发。
🔬 方法详解
问题定义：本论文旨在解决现有智能基础模型在高效性和稳定性方面的不足，尤其是在复杂任务处理中的表现不佳。
核心思路：IQuest-Q1采用稀疏混合专家架构，通过多阶段的训练过程，结合不同的训练信号，提升模型的智能编码能力和任务适应性。
技术框架：整体架构分为三个主要阶段：1) 稳定高效的预训练，2) 细粒度的中期训练，3) 多版本的后训练，确保模型在不同任务中的适应性和性能。
关键创新：最重要的创新在于模型合并技术，能够有效整合不同专家和检查点，减少参数更新冲突，从而提升模型的整体性能。
关键设计：在参数设置上，采用了3200亿总参数的稀疏结构，激活参数为150亿，结合了多种训练技术，如Stable SplitNorm、Muon和muP，以确保模型在训练过程中的稳定性和高效性。
🖼️ 关键图片
📊 实验亮点
IQuest-Q1在多个编码和通用任务上表现出色，显著提高了模型的学习效率和稳定性。与现有基线模型相比，IQuest-Q1在任务完成率和响应时间上均有显著提升，具体性能数据尚未公开。
🎯 应用场景
IQuest-Q1的潜在应用场景包括智能编程助手、自动化代码生成、以及复杂任务的智能决策支持等。其开源特性将促进社区的研究与开发，推动智能系统在各个领域的应用与创新。
📄 摘要（原文）
We present IQuest-Q1, a sparse Mixture-of-Experts (MoE) agentic foundation model with 320B total parameters (15B activated). IQuest-Q1 is developed through a three-stage process: (1) stable and efficient pre-training, combining Stable SplitNorm, Muon, and muP with a two-stage curriculum whose second stage increases the coding-data mixture, preserving a wide stability margin between safe and optimal learning rates; (2) fine-grained mid-training, expanding the data mixture across domains and formats and progressively extending the context; and (3) multi-scaffold with multi-version post-training, combining SFT, domain-specialized RL, and MOPD across various scaffolds to integrate complementary training signals and strengthen agentic coding capabilities. Furthermore, model merging combines different experts and checkpoints from different stages while mitigating conflicts among their parameter updates. The resulting IQuest-Q1 demonstrates capabilities in both coding and general tasks. We release IQuest-Q1 as an open-source model to support community research and development.