Hunyuan-A13B Technical Report
作者: Tencent Hunyuan Team, Ao Liu, Botong Zhou, Can Xu, Chayse Zhou, ChenChen Zhang, Chengcheng Xu, Chenhao Wang, Decheng Wu, Dengpeng Wu, Dian Jiao, Dong Du, Dong Wang, Feng Zhang, Fengzong Lian, Guanghui Xu, Guanwei Zhang, Hai Wang, Haipeng Luo, Han Hu, Huilin Xu, Jiajia Wu, Jianchen Zhu, Jianfeng Yan, Jiaqi Zhu, Jihong Zhang, Jinbao Xue, Jun Xia, Junqiang Zheng, Kai Liu, Kai Zhang, Kai Zheng, Kejiao Li, Keyao Wang, Lan Jiang, Lixin Liu, Lulu Wu, Mengyuan Huang, Peijie Yu, Peiqi Wang, Qian Wang, Qianbiao Xiang, Qibin Liu, Qingfeng Sun, Richard Guo, Ruobing Xie, Saiyong Yang, Shaohua Chen, Shihui Hu, Shuai Li, Shuaipeng Li, Shuang Chen, Suncong Zheng, Tao Yang, Tian Zhang, Tinghao Yu, Weidong Han, Weijie Liu, Weijin Zhou, Weikang Wang, Wesleye Chen, Xiao Feng, Xiaoqin Ren, Xingwu Sun, Xiong Kuang, Xuemeng Huang, Xun Cao, Yanfeng Chen, Yang Du, Zhen Yang, Yangyu Tao, Yaping Deng, Yi Shen, Yigeng Hong, Yiqi Chen
分类: cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出Hunyuan-A13B以提升大语言模型的推理能力与效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 混合专家架构 推理能力 双模式思维 高效计算 开源模型 人工智能应用
📋 核心要点
- 现有大型语言模型在推理能力和计算效率上存在平衡不足的问题，尤其在复杂任务中表现不佳。
- Hunyuan-A13B采用混合专家架构，仅在推理时激活部分参数，结合双模式思维链框架，提升推理深度的适应性。
- 实验结果表明，Hunyuan-A13B在多个任务上表现优异，推理速度快，能够与更大模型的性能相媲美。
📝 摘要（中文）
我们提出了Hunyuan-A13B，这是一个基于混合专家架构的开源大型语言模型。该模型总参数量为800亿，但在推理时仅激活130亿，平衡了模型能力、计算效率和部署成本。Hunyuan-A13B在经过严格筛选的20T-token语料上进行预训练，并增强了STEM数据的策划，提高了事实可靠性和推理能力。通过高质量的监督微调和大规模强化学习，进一步提升了整体性能。Hunyuan-A13B还引入了双模式的思维链框架，根据任务复杂性调整推理深度：对常规查询采用快速思维，对复杂的多步骤问题采用慢速思维。评估结果显示，该模型在数学、科学、编程、通用语言理解和代理任务等方面表现竞争力，性能接近更大规模的模型。其高推理吞吐量使其适合延迟敏感的应用场景。我们发布Hunyuan-A13B以支持开放研究和实际的LLM部署。
🔬 方法详解
问题定义：本论文旨在解决现有大型语言模型在推理能力与计算效率之间的平衡问题，尤其是在处理复杂任务时的表现不足。
核心思路：Hunyuan-A13B通过混合专家架构设计，仅在推理时激活部分参数（130亿），以此提高计算效率，同时保持模型的推理能力。引入双模式思维链框架，根据任务复杂性调整推理深度，优化了模型在不同任务上的表现。
技术框架：Hunyuan-A13B的整体架构包括预训练、微调和推理三个主要阶段。预训练阶段使用严格筛选的20T-token语料，微调阶段采用高质量的监督学习和大规模强化学习，推理阶段则根据任务复杂性选择快速或慢速思维模式。
关键创新：Hunyuan-A13B的主要创新在于其混合专家架构和双模式思维链框架。这种设计使得模型在推理时能够灵活调整计算资源，显著提升了在复杂任务中的表现。
关键设计：模型的参数设置经过精心设计，确保在推理时仅激活130亿参数，损失函数和网络结构也经过优化，以适应不同任务的需求。
🖼️ 关键图片
📊 实验亮点
Hunyuan-A13B在数学、科学、编程和通用语言理解等任务上表现出色，推理速度快，性能接近更大规模的模型。评估结果显示，该模型在多个基准测试中均取得了竞争力的成绩，展示了其在延迟敏感应用中的优势。
🎯 应用场景
Hunyuan-A13B在多个领域具有广泛的应用潜力，包括教育、科研、编程辅助和智能客服等。其高效的推理能力和灵活的任务适应性使其能够在实时交互和复杂问题解决中发挥重要作用，推动人工智能技术的实际应用和发展。
📄 摘要（原文）
We present Hunyuan-A13B, an open-source large language model based on a Mixture-of-Experts architecture. It contains 80 billion total parameters but activates only 13 billion during inference, balancing model capability, computational efficiency, and deployment cost. The model is pretrained on a rigorously filtered 20T-token corpus with enhanced STEM data curation, improving factual reliability and reasoning ability. High-quality supervised fine-tuning and large-scale reinforcement learning further enhance its overall performance. Hunyuan-A13B also introduces a dual-mode Chain-of-Thought framework that adapts reasoning depth to task complexity: fast thinking for routine queries and slow thinking for complex, multi-step problems. Evaluations show competitive performance across mathematics, science, programming, general language understanding, and agent tasks, often approaching that of much larger models. Its high inference throughput makes it suitable for latency-sensitive applications. We release Hunyuan-A13B to support open research and practical LLM deployment.