OptSkills: Learning Generalizable Optimization Skills from Problem Archetypes via Cluster-Based Distillation

📄 arXiv: 2605.29829v1 📥 PDF

作者: Haochen Yang, Ke Zhao, Mengyuan Ma, Xingyu Lu, Xiangfeng Wang, Hong Qian

分类: cs.AI, cs.LG

发布日期: 2026-05-28

备注: 22 pages, 10 figuers, project: https://github.com/fujiwaranoM0kou/OptSkills

🔗 代码/项目: GITHUB

💡 一句话要点

OptSkills：通过聚类蒸馏从问题原型中学习通用优化技能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化优化 技能学习 问题原型 聚类蒸馏 大型语言模型 泛化能力 工作流技能

📋 核心要点

  1. 现有方法在自动化优化中泛化能力有限，对叙述变化敏感，经验复用局限于案例层面，难以适应新的问题类型。
  2. OptSkills通过对问题原型聚类，提炼工作流级别的技能，并不断学习新的轨迹来提升泛化能力。
  3. OptSkills在多个数据集上取得了显著的性能提升，尤其是在MIPLIB-NL和OOD NLCO基准上，超越了现有方法。

📝 摘要（中文）

本文提出了一种名为OptSkills的原型中心技能学习和推理代理系统，用于优化建模和求解，旨在提升现有方法在自动化优化中泛化能力不足的问题。OptSkills通过问题潜在原型而非表面叙述进行聚类，提高鲁棒泛化能力。在每个聚类中探索不同的建模范式和求解器配置，并将成功的轨迹提炼成可重用的工作流级别技能，从而提高分布内泛化能力。此外，系统通过细化现有技能或使用新获得的轨迹扩展技能库，以提高分布外泛化能力。实验结果表明，OptSkills在包含各种问题类型和场景的数据集上实现了68.27%的最先进的微平均准确率。在具有挑战性的大规模高维基准MIPLIB-NL上，准确率达到26.91%，超过DeepSeek-V3.2-Thinking 4.53%。在Nano-CO上进行技能学习后，在OOD NLCO基准上达到72.79%的准确率。

🔬 方法详解

问题定义：现有方法在利用大型语言模型（LLMs）自动构建和解决优化问题时，泛化能力不足。它们对表面叙述的微小变化非常敏感，主要在案例级别复用经验，并且难以适应转移或新兴的问题类型。这限制了自动化优化在实际应用中的效果。

核心思路：OptSkills的核心思路是通过将问题按照其底层的原型进行聚类，而不是依赖于表面的叙述。这样可以更好地捕捉问题的本质特征，从而提高模型的鲁棒性和泛化能力。此外，通过在每个聚类中探索不同的建模范式和求解器配置，并将成功的轨迹提炼成可重用的工作流级别技能，进一步提升了模型的性能。

技术框架：OptSkills系统包含以下几个主要模块：1) 问题聚类模块，用于将问题按照其底层原型进行聚类；2) 技能学习模块，用于在每个聚类中探索不同的建模范式和求解器配置，并将成功的轨迹提炼成可重用的工作流级别技能；3) 技能推理模块，用于根据新的问题，选择合适的技能进行推理和求解；4) 技能更新模块，用于细化现有技能或使用新获得的轨迹扩展技能库。

关键创新：OptSkills最重要的技术创新点在于其原型中心的技能学习方法。与现有方法相比，OptSkills不是简单地复用案例级别的经验，而是通过对问题原型进行聚类，提炼出更通用的工作流级别技能。这种方法可以更好地捕捉问题的本质特征，从而提高模型的鲁棒性和泛化能力。

关键设计：OptSkills的关键设计包括：1) 使用合适的聚类算法对问题原型进行聚类；2) 设计有效的技能表示方法，以便能够捕捉工作流的关键步骤和决策；3) 设计合适的技能选择策略，以便能够根据新的问题，选择合适的技能进行推理和求解；4) 设计有效的技能更新机制，以便能够不断学习新的轨迹，提升技能的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OptSkills在多个数据集上取得了显著的性能提升。在包含各种问题类型和场景的数据集上，OptSkills实现了68.27%的最先进的微平均准确率。在具有挑战性的大规模高维基准MIPLIB-NL上，准确率达到26.91%，超过DeepSeek-V3.2-Thinking 4.53%。在Nano-CO上进行技能学习后，在OOD NLCO基准上达到72.79%的准确率，表明OptSkills具有良好的泛化能力。

🎯 应用场景

OptSkills可应用于各种优化问题的自动化建模和求解，例如供应链优化、资源分配、调度问题等。该研究的实际价值在于能够提高优化问题的求解效率和质量，降低人工干预的需求，并促进自动化优化技术在更广泛领域的应用。未来，OptSkills有望成为智能制造、智慧城市等领域的重要支撑技术。

📄 摘要（原文）

Leveraging Large Language Models (LLMs) to automatically formulate and solve optimization problems from natural language has emerged as an efficient paradigm for automated optimization. However, existing methods still exhibit limited generalization: they are sensitive to superficial narrative variations, reuse experience mainly at the case level, and struggle to adapt to shifted or emerging problem types. We propose OptSkills, an archetype-centric skill learning and reasoning agent system for optimization modeling and solving. To improve robust generalization, our system clusters problems by their underlying archetypes rather than surface narratives. To improve in-distribution generalization, it explores diverse modeling paradigms and solver configurations within each cluster, then distills successful trajectories into reusable workflow-level skills. To improve out-of-distribution generalization, it refines existing skills or expands the skill library using newly obtained trajectories. Our system achieves a state-of-the-art micro-averaged accuracy of 68.27% on datasets encompassing diverse problem types and scenarios. In addition, on MIPLIB-NL, a highly challenging large-scale and high-dimensional benchmark, it achieves 26.91% accuracy, outperforming DeepSeek-V3.2-Thinking by 4.53%. After skill learning on Nano-CO, it reaches 72.79% on the OOD NLCO benchmark. Code and skills are available at https://github.com/fujiwaranoM0kou/OptSkills.