UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Optimization

📄 arXiv: 2603.11583 📥 PDF

作者: Ofir Marom

分类: cs.CL, cs.AI

发布日期: 2026-04-07

💡 一句话要点

UtilityMax Prompting：提出基于形式化语言的多目标大语言模型优化框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 提示工程 多目标优化 形式化方法 效用函数

📋 核心要点

  1. 现有大语言模型提示工程依赖自然语言，在多目标优化场景下存在固有歧义，难以精确指导模型。
  2. UtilityMax Prompting框架使用形式化数学语言定义任务，将问题转化为最大化预期效用的优化问题。
  3. 实验表明，该方法在电影推荐任务中，显著提升了LLM的精度和NDCG指标，优于自然语言提示。

📝 摘要（中文）

本文介绍了一种名为UtilityMax Prompting的框架，该框架使用形式化的数学语言来指定任务，从而优化大语言模型（LLM）。该框架将任务重构为一个影响图，其中LLM的答案是唯一的决策变量。在图中的条件概率分布上定义一个效用函数，并指示LLM找到最大化预期效用的答案。这约束了LLM明确地推理目标的每个组成部分，将其输出导向精确的优化目标，而不是主观的自然语言解释。在MovieLens 1M数据集上，通过三个前沿模型（Claude Sonnet 4.6、GPT-5.4和Gemini 2.5 Pro）验证了该方法，在多目标电影推荐任务中，相对于自然语言基线，在精度和归一化折现累积增益（NDCG）方面均表现出持续的改进。

🔬 方法详解

问题定义：现有的大语言模型（LLM）提示方法主要依赖自然语言，这在单目标任务中可能有效。然而，当需要同时满足多个目标时，自然语言的模糊性和主观性会导致LLM难以准确理解任务意图，从而影响性能。特别是在多目标优化问题中，如何清晰、明确地指导LLM在多个目标之间进行权衡是一个挑战。现有方法缺乏一种形式化的框架来精确地定义和优化多目标任务。

核心思路：UtilityMax Prompting的核心思路是将LLM的任务转化为一个最大化预期效用的优化问题。通过使用形式化的数学语言（例如，概率分布和效用函数）来精确地定义任务目标，避免了自然语言的歧义性。该方法将LLM的输出视为决策变量，并构建一个影响图来表示任务中的各个变量之间的关系。然后，定义一个效用函数来衡量LLM输出的质量，并指示LLM找到最大化预期效用的输出。

技术框架：UtilityMax Prompting框架主要包含以下几个步骤：1) 任务建模：将多目标任务建模为一个影响图，其中包含决策变量（LLM的输出）、随机变量和效用节点。2) 效用函数定义：定义一个效用函数，用于衡量LLM输出的质量，该函数可以考虑多个目标，并对它们进行加权。3) 提示构建：根据影响图和效用函数，构建一个提示，指示LLM找到最大化预期效用的输出。4) LLM推理：将提示输入LLM，并获得LLM的输出。5) 评估：使用定义的效用函数评估LLM输出的质量。

关键创新：UtilityMax Prompting的关键创新在于使用形式化的数学语言来定义LLM的任务，从而避免了自然语言的歧义性。与传统的自然语言提示方法相比，UtilityMax Prompting能够更精确地指导LLM在多个目标之间进行权衡，从而提高LLM的性能。此外，该框架提供了一种通用的方法来建模和优化多目标任务，可以应用于各种不同的领域。

关键设计：在UtilityMax Prompting中，效用函数的设计至关重要。效用函数需要能够准确地反映任务目标，并且能够对不同的目标进行合理的权衡。一种常用的方法是使用加权和效用函数，其中每个目标的效用值乘以一个权重，然后将所有加权后的效用值相加。权重的选择可以根据任务的具体需求进行调整。此外，影响图的构建也需要仔细考虑，需要确保能够准确地表示任务中的各个变量之间的关系。

📊 实验亮点

在MovieLens 1M数据集上的实验结果表明，UtilityMax Prompting框架在多目标电影推荐任务中显著优于自然语言基线。具体而言，在精度方面，UtilityMax Prompting相对于最佳自然语言基线提高了约5%-10%。在NDCG方面，UtilityMax Prompting也取得了类似的提升。这些结果表明，UtilityMax Prompting能够有效地提高LLM在多目标任务中的性能。

🎯 应用场景

UtilityMax Prompting框架具有广泛的应用前景，可以应用于各种需要多目标优化的场景，例如推荐系统、对话系统、文本生成等。该框架可以帮助LLM更好地理解任务意图，从而生成更高质量的输出。此外，该框架还可以用于自动化提示工程，通过优化效用函数来自动生成最佳提示。

📄 摘要（原文）

The success of a Large Language Model (LLM) task depends heavily on its prompt. Most use-cases specify prompts using natural language, which is inherently ambiguous when multiple objectives must be simultaneously satisfied. In this paper we introduce UtilityMax Prompting, a framework that specifies tasks using formal mathematical language. We reconstruct the task as an influence diagram in which the LLM's answer is the sole decision variable. A utility function is defined over the conditional probability distributions within the diagram, and the LLM is instructed to find the answer that maximises expected utility. This constrains the LLM to reason explicitly about each component of the objective, directing its output toward a precise optimization target rather than a subjective natural language interpretation. We validate our approach on the MovieLens 1M dataset across three frontier models (Claude Sonnet 4.6, GPT-5.4, and Gemini 2.5 Pro), demonstrating consistent improvements in precision and Normalized Discounted Cumulative Gain (NDCG) over natural language baselines in a multi-objective movie recommendation task.