Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks

📄 arXiv: 2610.11978v1 📥 PDF

作者: Xing Li, Qingcheng Chang, Jinzhong Ning, Changfeng Xu, Shenlong Zhang, Yijia Zhang, Ling Luo, Hongfei Lin

分类: cs.CL

发布日期: 2026-10-08

备注: 10 pages, 2 figures, 7 tables

💡 一句话要点

提出Jev模型以解决多选题决策问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 决策模型 大型语言模型 多选题 知识推理 数学问题

📋 核心要点

  1. 现有的通用大型语言模型在特定决策任务上表现不一，尤其在多步骤计算问题上存在明显不足。
  2. 本文提出了一种专用决策模型Jev，旨在通过选择给定选项来优化决策过程，而非生成文本。
  3. 实验结果显示，Jev在知识和常识基准上表现优异，尤其在MMLU-Redux和ARC-Challenge上取得了最佳成绩。

📝 摘要（中文）

Jev是一种“系统一”模型，专注于在给定选项中返回选择，而非生成文本。本文研究了这种专用决策模型与通用大型语言模型（LLMs）的比较。我们在涵盖知识、推理和多语言理解的13个多选基准上评估了Jev，并与19个LLMs进行了比较。结果表明，Jev在知识和常识基准上与前沿LLMs竞争，并在MMLU-Redux和ARC-Challenge上获得最佳分数。然而，在数学应用题上，Jev的表现不佳，低于所有19个LLMs的得分。这表明专用决策模型在依赖知识的决策上可以与通用LLMs匹敌，但在需要多步计算的决策上则表现不佳。

🔬 方法详解

问题定义：本文旨在解决通用大型语言模型在特定决策任务中的不足，尤其是在多步骤计算问题上的表现较差。

核心思路：Jev模型通过专注于选择给定选项而非生成文本，优化了决策过程，特别适用于知识和常识相关的任务。

技术框架：Jev的整体架构包括输入处理、决策生成和输出模块，利用多层神经网络进行特征提取和决策评估。

关键创新：Jev的主要创新在于其专用性，能够在知识驱动的任务中与前沿LLMs竞争，而在多步骤计算上则表现出局限性。

关键设计：模型采用了特定的损失函数以优化选择准确性，并在网络结构上进行了调整，以提高对知识和常识的理解能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Jev在知识和常识基准上与前沿LLMs竞争，尤其在MMLU-Redux和ARC-Challenge上获得最佳分数。然而，在MathQA数学应用题上，Jev的得分比前沿中位数低17.7分，显示出其在多步骤计算任务上的不足。

🎯 应用场景

Jev模型的潜在应用领域包括教育评估、智能问答系统和决策支持工具等。其专用性使其在需要快速决策的场景中表现出色，未来可能在多语言环境下的知识检索和推理任务中发挥重要作用。

📄 摘要（原文）

Jev is a "System One" model that returns a choice among given options instead of generating text. We study how such a specialized decision model compares with general-purpose large language models (LLMs). We evaluate Jev on 13 multiple-choice benchmarks covering knowledge, reasoning, and multilingual understanding, and compare it with 19 LLMs in three tiers: frontier, representative, and small. Jev is competitive with frontier LLMs on knowledge and commonsense benchmarks and obtains the best score on MMLU-Redux and ARC-Challenge. Outside mathematics, it also outperforms most representative LLMs and all small LLMs. However, it falls behind on mathematical word problems: on MathQA, it is 17.7 points below the frontier median and scores lower than all 19 LLMs. These results indicate that a specialized decision model can match general-purpose LLMs on decisions that rely mainly on knowledge, but not on decisions that require multi-step calculation.