Large Language Models as Amortized Pareto-Front Generators for Constrained Bi-Objective Convex Optimization

📄 arXiv: 2605.12106v1 📥 PDF

作者: Peipei Xu, SiYuan Ma, Yaohua Liu, Yu Wu, Guanliang Liu, Yang Zhang, Yong Liu

分类: cs.AI

发布日期: 2026-05-12

备注: 31 pages

💡 一句话要点

DIPS：利用大语言模型生成约束双目标凸优化的Pareto前沿

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 Pareto前沿 多目标优化 约束优化 凸优化

📋 核心要点

  1. 现有方法在解决约束双目标优化问题时，依赖迭代标量化、进化搜索或特定问题求解器，需要对每个实例重复优化。
  2. DIPS框架通过微调大型语言模型，使其能够直接从问题描述生成Pareto前沿，无需迭代优化。
  3. 实验表明，DIPS在速度和Pareto前沿质量上均优于现有方法，证明了LLM作为分摊生成器的有效性。

📝 摘要（中文）

本文提出DIPS，一个端到端框架，通过微调大型语言模型，使其能够为约束双目标凸优化问题生成分摊的Pareto前沿。给定问题的文本描述，DIPS直接输出一组有序的可行连续决策向量，逼近Pareto前沿。为了使连续优化与自回归语言建模兼容，DIPS结合了紧凑的离散化方案、用于新数值token的数值基础token初始化，以及三阶段课程优化，逐步对齐结构有效性、可行性和Pareto前沿质量。在五个约束双目标凸问题族上，微调后的70亿参数模型实现了相对于参考前沿95.29%到98.18%的归一化超体积比率。通过vLLM加速推理，DIPS在短短0.16秒内解决一个实例，并在评估设置下优于通用和推理LLM基线。这些结果表明，LLM可以作为连续Pareto前沿逼近的有效分摊生成器。

🔬 方法详解

问题定义：论文旨在解决约束双目标凸优化问题中，生成可行Pareto前沿的难题。传统方法如迭代标量化、进化算法等，需要针对每个问题实例进行重复优化，计算成本高昂，效率低下。此外，这些方法通常依赖于问题特定的求解器，缺乏通用性。

核心思路：论文的核心思路是将大型语言模型（LLM）作为分摊的Pareto前沿生成器。通过将优化问题描述转化为文本，利用LLM的生成能力，直接输出一组逼近Pareto前沿的决策向量。这种方法避免了重复优化，提高了效率，并具有较强的通用性。

技术框架：DIPS框架包含以下几个主要模块：1) 问题文本描述输入；2) LLM（经过微调）作为Pareto前沿生成器；3) 紧凑离散化方案，将连续决策变量转化为离散token；4) 数值基础Token初始化，为新的数值token提供合理的初始表示；5) 三阶段课程优化，逐步优化模型的结构有效性、可行性和Pareto前沿质量。

关键创新：DIPS的关键创新在于将LLM应用于连续优化问题的Pareto前沿生成。与传统优化方法不同，DIPS利用LLM的生成能力，实现了一次性生成整个Pareto前沿，避免了重复迭代优化。此外，DIPS还提出了紧凑离散化方案和数值基础Token初始化，解决了连续优化与自回归语言建模的兼容性问题。

关键设计：DIPS采用三阶段课程优化策略：第一阶段，优化结构有效性，确保生成的决策向量符合基本结构要求；第二阶段，优化可行性，确保生成的决策向量满足约束条件；第三阶段，优化Pareto前沿质量，提高生成的Pareto前沿的逼近精度。损失函数的设计也至关重要，需要综合考虑结构有效性、可行性和Pareto前沿质量。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DIPS在五个约束双目标凸问题族上，相对于参考前沿实现了95.29%到98.18%的归一化超体积比率。与通用和推理LLM基线相比，DIPS在Pareto前沿质量和推理速度上均表现出显著优势。通过vLLM加速推理，DIPS可以在0.16秒内解决一个实例，证明了其高效性。

🎯 应用场景

DIPS框架可应用于各种需要多标准决策的领域，如工程设计、资源分配、金融投资等。例如，在汽车设计中，可以同时优化车辆的燃油效率和安全性，生成Pareto前沿，供设计师选择。该研究的实际价值在于提高了多目标优化的效率和通用性，未来可能促进更多复杂优化问题的解决。

📄 摘要（原文）

Generating feasible Pareto fronts for constrained bi-objective continuous optimization is central to multi-criteria decision-making. Existing methods usually rely on iterative scalarization, evolutionary search, or problem-specific solvers, requiring repeated optimization for each instance. We introduce DIPS, an end-to-end framework that fine-tunes large language models as amortized Pareto-front generators for constrained bi-objective convex optimization. Given a textual problem description, DIPS directly outputs an ordered set of feasible continuous decision vectors approximating the Pareto front. To make continuous optimization compatible with autoregressive language modeling, DIPS combines a compact discretization scheme, Numerically Grounded Token Initialization for new numerical tokens, and Three-Phase Curriculum Optimization, which progressively aligns structural validity, feasibility, and Pareto-front quality. Across five families of constrained bi-objective convex problems, a fine-tuned 7B-parameter model achieves normalized hypervolume ratios of 95.29% to 98.18% relative to reference fronts. With vLLM-accelerated inference, DIPS solves one instance in as little as 0.16 seconds and outperforms general-purpose and reasoning LLM baselines under the evaluated setting. These results suggest that LLMs can serve as effective amortized generators for continuous Pareto-front approximation.