BONO-Bench: A Comprehensive Test Suite for Bi-objective Numerical Optimization with Traceable Pareto Sets
作者: Lennart Schäpermeier, Pascal Kerschke
分类: math.OC, cs.AI
发布日期: 2026-01-23
备注: Accepted for publication in the Special Issue on Benchmarking in Multi-Criteria Optimization at ACM TELO
💡 一句话要点
提出BONO-Bench，用于可追踪Pareto集双目标数值优化问题的综合测试套件。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多目标优化 基准测试 测试套件 Pareto前沿 数值优化
📋 核心要点
- 现有双目标优化基准测试问题存在人为偏差或缺乏对问题属性的控制，难以有效评估优化器性能。
- 论文提出一种问题生成方法，将凸二次函数组合成可控属性的复杂景观，同时保持理论可追踪性。
- 创建了包含20个问题类别的BONO-Bench测试套件，并发布了Python包bonobench，方便可重复的基准测试。
📝 摘要（中文）
多目标优化中，在测试问题上评估启发式优化器（又称基准测试）是研究的基石。然而，用于数值多目标黑盒优化器基准测试的大多数测试问题都来自两种有缺陷的方法：一是手动构建问题，导致问题具有易于理解的最优解，但不具备实际属性和偏差；二是将更真实和复杂的单目标问题组合成多目标问题，但缺乏对问题属性的控制和理解。本文提出了一种广泛的问题生成方法，用于双目标数值优化问题，该方法将理论上易于理解的凸二次函数组合成具有或不具有全局结构的单峰和多峰景观。它支持测试问题属性的配置，例如决策变量的数量、局部最优值、Pareto前沿形状、目标空间中的平稳段或条件程度，同时保持理论上的可追踪性：可以根据Pareto兼容的性能指标（如超体积或精确R2指标）将最优前沿近似到任意精度。为了展示生成器的能力，创建了一个包含20个问题类别的测试套件，称为BONO-Bench，并随后将其用作说明性基准研究的基础。最后，我们将所提出的生成器背后的通用方法以及相关的测试套件以Python包 exttt{bonobench}的形式公开发布，以方便可重复的基准测试。
🔬 方法详解
问题定义：现有双目标数值优化器的基准测试存在问题。手动构建的问题虽然易于理解，但缺乏真实性和存在偏差。将单目标问题组合成多目标问题又难以控制问题属性，导致评估结果缺乏可靠性。因此，需要一种能够生成具有可控属性且理论上可追踪的双目标优化测试问题的框架。
核心思路：论文的核心思路是将理论上易于理解的凸二次函数组合成更复杂的单峰和多峰景观。通过控制凸二次函数的参数和组合方式，可以精确地控制生成问题的各种属性，例如决策变量的数量、局部最优解的数量、Pareto前沿的形状、目标空间中的平稳区域以及问题的条件数。同时，由于凸二次函数具有良好的数学性质，可以保证生成问题的理论可追踪性，即可以精确地计算或近似Pareto最优前沿。
技术框架：该方法主要包含以下几个阶段：1) 选择合适的凸二次函数作为基本构建块；2) 设计组合策略，将这些凸二次函数组合成具有特定属性的景观；3) 实现参数配置机制，允许用户控制生成问题的各种属性；4) 提供评估工具，用于计算或近似Pareto最优前沿，并评估优化器的性能。整个框架以Python包 exttt{bonobench}的形式提供，方便用户使用和扩展。
关键创新：该方法的关键创新在于其将理论可追踪性和问题属性可控性相结合。通过使用凸二次函数作为基本构建块，可以保证生成问题的理论可追踪性。通过设计灵活的组合策略和参数配置机制，可以精确地控制生成问题的各种属性。这种结合使得该方法能够生成更具挑战性和代表性的测试问题，从而更有效地评估双目标数值优化器的性能。
关键设计：关键设计包括：1) 凸二次函数的选择，需要考虑其数学性质和计算效率；2) 组合策略的设计，需要考虑如何将凸二次函数组合成具有特定属性的景观；3) 参数配置机制的设计，需要考虑如何让用户方便地控制生成问题的各种属性；4) 评估工具的设计，需要考虑如何高效地计算或近似Pareto最优前沿。
🖼️ 关键图片
📊 实验亮点
论文创建了包含20个问题类别的BONO-Bench测试套件，并将其用于说明性基准研究。实验结果表明，BONO-Bench能够有效地评估不同优化算法的性能，并揭示它们在不同问题属性下的优缺点。该测试套件的发布为多目标优化算法的基准测试提供了一个可靠的平台。
🎯 应用场景
该研究成果可广泛应用于多目标优化算法的开发和评估。研究人员可以使用BONO-Bench测试套件来评估其提出的优化算法的性能，并与其他算法进行比较。此外，该框架还可以用于研究不同问题属性对优化算法性能的影响，从而为算法设计提供指导。该研究有助于推动多目标优化领域的发展，并促进更高效、更可靠的优化算法的出现。
📄 摘要（原文）
The evaluation of heuristic optimizers on test problems, better known as \emph{benchmarking}, is a cornerstone of research in multi-objective optimization. However, most test problems used in benchmarking numerical multi-objective black-box optimizers come from one of two flawed approaches: On the one hand, problems are constructed manually, which result in problems with well-understood optimal solutions, but unrealistic properties and biases. On the other hand, more realistic and complex single-objective problems are composited into multi-objective problems, but with a lack of control and understanding of problem properties. This paper proposes an extensive problem generation approach for bi-objective numerical optimization problems consisting of the combination of theoretically well-understood convex-quadratic functions into unimodal and multimodal landscapes with and without global structure. It supports configuration of test problem properties, such as the number of decision variables, local optima, Pareto front shape, plateaus in the objective space, or degree of conditioning, while maintaining theoretical tractability: The optimal front can be approximated to an arbitrary degree of precision regarding Pareto-compliant performance indicators such as the hypervolume or the exact R2 indicator. To demonstrate the generator's capabilities, a test suite of 20 problem categories, called \emph{BONO-Bench}, is created and subsequently used as a basis of an illustrative benchmark study. Finally, the general approach underlying our proposed generator, together with the associated test suite, is publicly released in the Python package \texttt{bonobench} to facilitate reproducible benchmarking.