LLM2Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them

📄 arXiv: 2610.02076v1 📥 PDF

作者: Yinheng Li, Justin Wagle

分类: cs.CL

发布日期: 2026-10-01

💡 一句话要点

提出LLM2Jev框架以优化大语言模型的决策能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 决策模型 微调 多模态决策 KL散度惩罚 无训练推理 树因子化损失

📋 核心要点

  1. 现有的决策模型在处理多选项决策时存在局限，尤其是在生成自由文本的情况下，难以直接应用于软件系统。
  2. 论文提出的LLM2Jev框架通过从下一个标记的概率中提取决策，提供了无训练推理和优化候选选择的微调目标。
  3. 实验结果显示，现代LLMs在决策模型方面表现优异，尤其是4B模型在多项选择和多模态决策中超越了传统模型。

📝 摘要（中文）

Jev风格的决策模型能够直接返回预定义选项的分类概率分布，而无需生成自由文本。本文研究了通用大语言模型（LLMs）在这一能力上的现状及其何时需要微调。我们提出了LLM2Jev，一个架构保持的框架，能够直接从下一个标记的概率中提取校准决策。LLM2Jev提供了无训练推理方案和通过树因子化列表损失优化候选选择的微调目标，同时使用KL散度惩罚将辅助预测锚定到基础模型。在Qwen3.5-4B和Qwen3-0.6B上的评估表明，现代LLMs本身就是有效的决策模型：无需训练，4B模型的表现与基于相同骨干的社区Jev风格模型相当，超越字母-对数输出，支持任意选项数量，并原生处理图像的多模态决策。微调提供了针对性而非普遍的好处，显著改善较弱模型和特定任务，但对强骨干的回报递减。我们的KL锚定防止了对话文本生成中的行为退化，LoRA在能力模型上表现最佳。

🔬 方法详解

问题定义：本文旨在解决现有决策模型在多选项决策中的局限性，尤其是如何有效利用大语言模型（LLMs）进行直接决策而无需生成自由文本。现有方法在处理复杂决策时往往需要额外的训练和调整。

核心思路：LLM2Jev框架的核心思路是利用LLMs的下一个标记概率，直接提取校准决策，从而避免传统方法中的文本生成过程。通过这种方式，模型能够更高效地进行决策。

技术框架：LLM2Jev的整体架构包括两个主要模块：无训练推理方案和微调目标。无训练推理方案允许模型直接进行决策，而微调目标则通过树因子化列表损失优化候选选择，同时使用KL散度惩罚来锚定辅助预测。

关键创新：LLM2Jev的最大创新在于其无训练推理能力和微调目标的结合，使得LLMs能够在不需要大量额外训练的情况下，直接进行有效的决策。这一设计与传统的决策模型有本质区别。

关键设计：在损失函数方面，采用了树因子化列表损失来优化候选选择，同时引入KL散度惩罚以防止模型在对话生成中的行为退化。模型架构保持了LLMs的原有结构，确保了其在多模态决策中的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Qwen3.5-4B模型在无需训练的情况下，表现与社区Jev风格模型相当，且在多项选择和多模态决策中超越了传统字母-对数输出。微调对较弱模型和特定任务的提升显著，但对强骨干的回报递减，表明微调的针对性效果。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和多模态交互平台。通过优化大语言模型的决策能力，LLM2Jev可以在复杂环境中提供更高效的决策支持，提升用户体验和系统响应速度。未来，该框架可能会在更多实际应用中得到推广，推动智能系统的发展。

📄 摘要（原文）

Jev-style decision models return categorical probability distributions over predefined options without generating free-form text, enabling software systems to act on their outputs directly. In this work, we investigate the extent to which general-purpose LLMs already possess this capability out of the box, and when fine-tuning is actually necessary. We present LLM2Jev, an architecture-preserving framework that extracts calibrated decisions directly from next-token probabilities over bracketed numeric identifiers. LLM2Jev provides both a training-free inference recipe and a fine-tuning objective that optimizes candidate selection via a tree-factorized listwise loss while anchoring auxiliary predictions to the base model using KL divergence penalties. Evaluating on Qwen3.5-4B and Qwen3-0.6B, we find that modern LLMs are inherently effective decision models: without training, the 4B model matches community Jev-style models built on the same backbone, outperforms letter-logit readouts, supports arbitrary option counts, and natively handles multimodal decisions over images. Fine-tuning provides targeted rather than universal benefits -- substantially improving weaker models and specific tasks (such as many-option intent routing), but offering diminishing returns for strong backbones. Crucially, our KL anchors prevent behavioral degradation in conversational text generation, with LoRA delivering the strongest performance on capable models.