VLM Fine-Tuning for End-to-End Combinatorial Optimization

📄 arXiv: 2609.37175v1 📥 PDF

作者: Qingsong Yan, Xia Jiang, Yaoxin Wu, Wen Song, Lu Zhang, Yingjie Zhou

分类: cs.CL

发布日期: 2026-09-29

💡 一句话要点

提出视觉语言模型以优化组合优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合优化 视觉语言模型 多模态学习 强化学习 监督微调

📋 核心要点

  1. 现有方法在处理组合优化问题时，往往忽略了空间和关系结构，导致解决方案质量不高。
  2. 本文提出了一种视觉语言模型，通过结合视觉表示和文本描述，增强了对组合优化问题的理解和求解能力。
  3. 实验结果表明，VLM在解决方案质量上优于传统的文本模型，尤其在复杂问题上提升显著，验证了视觉信息的有效性。

📝 摘要（中文）

大型语言模型（LLMs）为端到端组合优化（CO）提供了统一接口，但仅依赖文本序列化可能会掩盖生成有效CO解决方案所需的重要空间和关系结构。本文提出了一种通用的视觉语言求解器，通过输入派生的视觉表示增强文本实例描述。该视觉语言模型（VLM）适用于不同的CO任务，并采用监督微调和验证者引导的强化学习进行训练。尽管视觉输入不包含黄金解决方案或解决方案派生信息，但实验表明，VLM在解决方案质量上普遍优于仅使用文本的模型，尤其在复杂的CO问题（如CVRP和JSSP）上表现出明显的优势。视觉信息的优势在大规模问题中更为显著。

🔬 方法详解

问题定义：本文旨在解决组合优化问题中的信息表达不足，现有方法主要依赖文本序列化，无法充分利用空间和关系结构的信息。

核心思路：通过引入视觉表示，增强文本描述的表达能力，使得模型能够更好地理解和处理复杂的组合优化任务。设计上，模型结合了视觉信息与文本信息，以提高求解效果。

技术框架：整体架构包括输入视觉信息和文本描述的模块，经过监督微调后，利用验证者引导的强化学习进行优化。主要模块包括视觉输入处理、文本处理和决策生成。

关键创新：最重要的创新在于将视觉信息与文本信息结合，形成一种新的求解策略，显著提升了模型在复杂组合优化问题上的表现，与传统方法相比，提供了更全面的信息理解。

关键设计：在参数设置上，模型采用了适应性学习率和多任务学习策略，损失函数设计上结合了文本和视觉信息的损失，网络结构上使用了多模态融合技术，以确保信息的有效整合。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，视觉语言模型在解决复杂组合优化问题时，相较于仅使用文本的模型，解决方案质量普遍提高，特别是在CVRP和JSSP等问题上，提升幅度明显，验证了视觉信息的有效性。具体性能数据表明，VLM在大规模问题上表现更为突出，显示出其广泛的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括物流调度、生产调度和资源分配等复杂决策问题。通过引入视觉信息，模型能够更准确地理解问题背景，从而提供更优质的解决方案，具有重要的实际价值和广泛的应用前景。未来，随着视觉技术的进步，该方法可能在更多领域得到应用，推动智能决策的发展。

📄 摘要（原文）

Large language models (LLMs) have provided a unified interface for end-to-end combinatorial optimization (CO), but textual serialization alone may obscure spatial and relational structures that are important for generating effective CO solutions. This paper presents a general-purpose vision-language solver that augments textual instance descriptions with input-derived visual representations. A single vision-language model (VLM) is applied across different CO tasks and trained using supervised fine-tuning followed by verifier-guided reinforcement learning. While the visual inputs contain no gold solutions or solution-derived information, our experiments show that the VLM generally improves solution quality over its text-only counterpart, with particularly clear gains on more complex CO problems such as CVRP and JSSP. The advantage of visual information is more pronounced at large problem scales.