MoMHa: Multi-Objective Optimization of LLM Harnesses over Accuracy, Safety, and Tokens
作者: Subhojyoti Mukherjee, Md Mehrab Tanjim
分类: cs.AI
发布日期: 2026-09-25
备注: Accepted to the 40th Conference on Neural Information Processing Systems (NeurIPS 2026)
💡 一句话要点
提出MoMHa以解决大型语言模型的多目标优化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多目标优化 行为安全性 token成本 harness设计
📋 核心要点
- 现有方法大多只关注大型语言模型的准确性，忽视了安全性和token成本等其他重要因素。
- 论文提出的Meta-Harness系统通过多目标优化，将harness设计视为在准确性、安全性和token成本之间的搜索问题。
- 实验结果显示，MoMHa在多个基准上超越了十个基线方法，尤其在行为安全性和token使用效率上表现突出。
📝 摘要（中文）
大多数关于改进大型语言模型的研究将准确性视为唯一目标。我们认为，围绕模型构建提示、路由调用和解析输出的Python代码（即harness）是一个重要的设计表面，其质量本质上是多目标的：一个拒绝不安全请求或消耗大量tokens的准确harness并不是一个好的harness。我们提出了Meta-Harness，一个将harness设计视为在三个领域目标（准确性、行为安全性和token成本）上进行搜索的系统。我们的核心发现是，单阶段联合奖励提议者（MoMHa）在所有替代方案中表现最佳，包括两阶段“准确性然后tokens”的消融实验、仅标量反馈和仅准确性基线。我们在十七个领域进行了评估，结果表明MoMHa在多个基准上显著优于其他方法。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型harness设计中的多目标优化问题，现有方法往往只关注准确性，导致安全性和token成本被忽视。
核心思路：论文提出的Meta-Harness系统通过将harness设计视为在准确性、行为安全性和token成本之间的多目标搜索，来优化harness的整体性能。这样的设计使得模型在处理请求时更加全面和高效。
技术框架：系统由一个代理提议者（Claude Code）构成，具备对先前harness源代码、执行轨迹和评分文档的完全文件系统访问权限。提议者通过单阶段联合奖励机制进行优化。
关键创新：MoMHa的最大创新在于其单阶段联合奖励提议者的设计，相比于传统的两阶段方法（如“准确性然后tokens”），在多目标优化中表现出更优的性能。
关键设计：在设计中，系统使用了特定的损失函数来平衡准确性、安全性和token成本，并通过对不同模型的评估，确保了设计的通用性和有效性。具体参数设置和网络结构细节将在后续发布的代码中提供。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MoMHa在合成轨道上实现了0.482的联合均值，相较于十个基线方法的0.198-0.422，表现出显著提升；在真实世界轨道上，MoMHa得分为0.461，超越最强基线DSPy的0.377，且在行为安全性上达到了0.781，使用的tokens比两阶段方法少95个。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化harness的设计，可以提升模型在实际应用中的安全性和效率，降低使用成本，进而推动大型语言模型的广泛应用和发展。
📄 摘要（原文）
Most work on improving large language models treats accuracy as the sole objective. We argue that the harness, the Python code surrounding the model that constructs prompts, routes calls, and parses outputs, is a first-class design surface whose quality is inherently multi-objective: an accurate harness that refuses no unsafe request, or that consumes an order of magnitude more tokens, is not a good harness. We present Meta-Harness, a system that casts harness design as search over three per-domain objectives (accuracy, behavioural safety, and token cost) solved by an agentic proposer (Claude Code) with full filesystem access to prior harness source, execution traces, and scoring artifacts. Our central finding is that a singlephase joint-reward proposer (MoMHa) outperforms every alternative, including a two-phase "accuracy then tokens" ablation, scalar-only feedback, and an accuracy-only baseline. We evaluate on seventeen domains: seven synthetic capability suites, seven real-world public benchmarks (HumanEval, MBPP, Spider, FEVER, MMLU-Pro, LawBench, NuminaMath), and three U-SafeBench-derived user-specific safety domains, using a 12-model fleet spanning four families. On the synthetic track MoMHa achieves a joint mean of 0.482 versus 0.198-0.422 for ten baselines, winning $7 / 10$ per-domain columns; on the real-world track it scores 0.461 versus 0.377 for the strongest baseline (DSPy), winning 5/7 columns, demonstrating that harness strategies transfer to unseen benchmarks without retraining on 8 of 12 target models. MoMHa attains the highest measured behavioral safety composite (U-SafeBench, 0.781) and uses 95 fewer tokens per example than the two-phase alternative. We will release all harness code, evaluation infrastructure, and crossmodel logs.