UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Optimization

📄 arXiv: 2603.11583v1 📥 PDF

作者: Ofir Marom

分类: cs.CL, cs.AI

发布日期: 2026-03-12

💡 一句话要点

UtilityMax Prompting：提出基于形式化语言的多目标大语言模型优化框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多目标优化 形式化提示 效用函数 影响图

📋 核心要点

  1. 自然语言提示在多目标LLM任务中存在歧义，难以精确表达多个需要同时满足的目标。
  2. UtilityMax Prompting框架使用形式化数学语言定义任务，通过最大化期望效用引导LLM进行精确优化。
  3. 实验表明，该方法在多目标电影推荐任务中，显著提升了LLM的精度和NDCG指标，优于自然语言基线。

📝 摘要（中文）

本文提出UtilityMax Prompting框架，使用形式化数学语言来指定任务，以解决自然语言提示在多目标优化中固有的模糊性问题。该框架将任务重构为影响图，其中大语言模型（LLM）的答案是唯一的决策变量。在图中的条件概率分布上定义效用函数，并指示LLM找到最大化期望效用的答案。这约束LLM显式地推理目标的每个组成部分，将其输出导向精确的优化目标，而不是主观的自然语言解释。在MovieLens 1M数据集上，使用Claude Sonnet 4.6、GPT-5.4和Gemini 2.5 Pro三个前沿模型验证了该方法，在多目标电影推荐任务中，相对于自然语言基线，在精度和归一化折损累计增益（NDCG）方面均表现出持续的提升。

🔬 方法详解

问题定义：现有的大语言模型（LLM）任务通常使用自然语言提示，但在需要同时满足多个目标时，自然语言的模糊性会导致LLM难以准确理解任务意图，从而影响任务完成质量。尤其是在多目标优化问题中，如何清晰、明确地指导LLM在多个目标之间进行权衡是一个挑战。

核心思路：UtilityMax Prompting的核心思路是将任务形式化为一个决策问题，利用影响图来建模LLM的决策过程。通过定义一个效用函数，量化不同答案对于各个目标的贡献，并指示LLM找到能够最大化期望效用的答案。这样，LLM不再依赖于对自然语言提示的主观理解，而是基于明确的数学目标进行推理和决策。

技术框架：该框架包含以下主要步骤：1) 将任务建模为影响图，其中LLM的答案是唯一的决策变量；2) 在影响图的条件概率分布上定义效用函数，该函数量化了答案对于每个目标的贡献；3) 指示LLM找到最大化期望效用的答案。LLM通过优化效用函数，显式地推理目标的每个组成部分，从而生成符合多目标要求的答案。

关键创新：该方法最重要的创新在于使用形式化语言来定义LLM任务，将自然语言的模糊性转化为明确的数学目标。与传统的自然语言提示方法相比，UtilityMax Prompting能够更精确地指导LLM进行多目标优化，避免了因理解偏差而导致的性能下降。

关键设计：效用函数的设计是关键。论文中，效用函数需要根据具体的任务目标进行定义，它可以是各个目标得分的加权和，也可以是更复杂的非线性函数。此外，影响图的构建也需要仔细考虑，确保能够准确地反映LLM的决策过程和各个目标之间的依赖关系。具体的参数设置和网络结构取决于所使用的LLM模型。

📊 实验亮点

在MovieLens 1M数据集上的实验结果表明，UtilityMax Prompting框架在多目标电影推荐任务中，相对于自然语言基线，在精度和NDCG指标上均表现出持续的提升。具体而言，使用Claude Sonnet 4.6、GPT-5.4和Gemini 2.5 Pro三个前沿模型进行测试，结果均验证了该方法的有效性，证明了其在多目标优化方面的优势。

🎯 应用场景

UtilityMax Prompting框架可应用于各种需要多目标优化的LLM任务，例如推荐系统、文本摘要、对话生成等。该方法能够提高LLM在复杂任务中的性能和可靠性，使其更好地满足用户的多样化需求。未来，该框架可以扩展到更广泛的AI领域，例如机器人控制和自动驾驶等。

📄 摘要（原文）

The success of a Large Language Model (LLM) task depends heavily on its prompt. Most use-cases specify prompts using natural language, which is inherently ambiguous when multiple objectives must be simultaneously satisfied. In this paper we introduce UtilityMax Prompting, a framework that specifies tasks using formal mathematical language. We reconstruct the task as an influence diagram in which the LLM's answer is the sole decision variable. A utility function is defined over the conditional probability distributions within the diagram, and the LLM is instructed to find the answer that maximises expected utility. This constrains the LLM to reason explicitly about each component of the objective, directing its output toward a precise optimization target rather than a subjective natural language interpretation. We validate our approach on the MovieLens 1M dataset across three frontier models (Claude Sonnet 4.6, GPT-5.4, and Gemini 2.5 Pro), demonstrating consistent improvements in precision and Normalized Discounted Cumulative Gain (NDCG) over natural language baselines in a multi-objective movie recommendation task.