NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness
作者: NeoHorse Team, Guoliang Cao, Guohao Dai, Tianyu Guo, Kai Han, Hailin Hu, Zihan Jiang, Xiang Kuang, Boxun Li, Yulong Li, Zehua Pei, Yuchuan Tian, Jiamin Wang, Yu Wang, Yunhe Wang, Yihong Wu, Haiyang Xu, Shuo Zhang, Hang Zhou, Siyang Cheng, Jiayu Fan, Wei He, Qingrui Jiao, Hongguang Li, Zhiyuan Li, Runke Liu, Xi Liu, Xinchen Liu, Sinno Jialin Pan, Yi Ren, Liuyang Song, Chenyu Wang, Bei Yu, Quanlu Zhang, Xiangyu Zhang, Mengyu Zheng, Yingjie Zong
分类: cs.CL
发布日期: 2026-09-08
备注: Huggingface: https://hf.co/collections/TokenRhythm/neohorse-1; Github: https://github.com/TokenRhythm/NeoHorse
💡 一句话要点
提出NeoHorse-1以实现递归自我改进的智能后训练机制
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 递归自我改进 智能后训练 能力反馈 模型微调 路由机制 性能提升 AI系统优化
📋 核心要点
- 现有方法在递归自我改进方面缺乏有效的机制，无法有效观察和利用AI系统的能力。
- 论文提出了NeoHorse-1，通过智能后训练结合异构模型池与路由机制，提升AI系统的学习效率。
- 实验结果表明，后训练显著提高了模型性能，4B模型的宏平均提升了5.93，9B模型提升了3.44。
📝 摘要（中文）
递归自我改进（RSI）需要一个具体机制，使AI系统能够观察自身能力并将这些证据转化为下一轮学习。我们提出了NeoHorse-1，一个旨在通过智能后训练探索这一路径的代理原生模型系列。该系统结合了异构模型池与智能路由，记录每个用户交互的预测能力需求、选择的服务层级及后续互动。这些记录被转化为训练示例，保留交错推理、工具调用和上下文，并通过结构验证、六维语义评估和子场景级标注进行处理。路由信号将监督微调组织为三阶段课程，并扩展到路由引导的在线蒸馏，教师在相同进程下监督学生生成的响应。能力引导分配将评估反馈转化为下一训练混合，形成一个评估-选择-更新的闭环，系统学习的内容影响其下一步学习的方向。在涵盖基于工具的代理、工具使用、编码和指令跟随的十一项基准测试中，后训练将4B模型的宏平均从58.94提升至64.87，将9B模型的宏平均从65.60提升至69.04，显著缩小了后训练4B模型与9B基础模型之间的差距。NeoHorse-1为这一反馈驱动过程提供了初步原型，并为后续迭代中的工具介导的RSI指明了方向。
🔬 方法详解
问题定义：本论文旨在解决递归自我改进（RSI）中AI系统如何有效观察和利用自身能力的问题。现有方法在能力反馈和学习转化方面存在不足，导致学习效率低下。
核心思路：论文的核心思路是通过智能后训练和路由机制，将AI系统的能力需求转化为训练示例，从而实现有效的学习反馈循环。这样的设计旨在增强模型的自我改进能力，使其能够在不同任务中更好地适应和优化。
技术框架：整体架构包括异构模型池、智能路由、能力引导分配和三阶段课程微调。系统首先记录用户交互的能力需求，然后通过路由信号组织微调过程，最后将评估反馈转化为下一训练混合。
关键创新：最重要的技术创新在于将能力需求转化为训练示例的机制，以及通过路由引导的在线蒸馏过程。这与现有方法的本质区别在于，NeoHorse-1实现了动态的能力反馈与学习更新，形成闭环。
关键设计：关键设计包括六维语义评估和子场景级标注的使用，确保训练示例的质量。此外，路由信号的设计使得微调过程更加高效，能够根据用户需求动态调整模型的学习策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，后训练显著提升了模型性能，4B模型的宏平均从58.94提升至64.87，9B模型从65.60提升至69.04，缩小了后训练4B模型与9B基础模型之间的性能差距，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化编程、工具使用优化等。通过实现递归自我改进，NeoHorse-1能够在不断变化的环境中提升AI系统的适应性和智能水平，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Recursive self-improvement (RSI) requires a concrete mechanism through which an AI system observes its capabilities and converts that evidence into the next round of learning. We present NeoHorse-1, a family of agent-native models developed to explore this path through agentic post-training. Our system combines a heterogeneous model pool with intelligent routing, recording the predicted capability demand, selected service tier, and subsequent interaction for each user turn. These records are converted into training examples that preserve interleaved reasoning, tool calls, and harness context, and are admitted through structural validation, six-dimensional semantic evaluation, and subscene-level labeling. Routing signals organize supervised fine-tuning into a three-stage curriculum and extend to routing-guided on-policy distillation, where a teacher supervises student-generated responses under the same progression. Capability-guided allocation then converts evaluation feedback into the next training mixture, closing an evaluation-selection-update loop in which what the system learns to do shapes what it learns from next. Across eleven benchmarks covering harness-based agents, tool use, coding, and instruction following, post-training raises the macro-average from 58.94 to 64.87 at 4B and from 65.60 to 69.04 at 9B, substantially narrowing the aggregate gap between the post-trained 4B model and the 9B base model. NeoHorse-1 provides an initial prototype of this feedback-driven process and a path toward harness-mediated RSI across successive iterations.