Option-ID Based Elimination For Multiple Choice Questions

📄 arXiv: 2501.15175v3 📥 PDF

作者: Zhenhao Zhu, Bulou Liu, Qingyao Ai, Yiqun Liu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-01-25 (更新: 2025-05-19)

💡 一句话要点

提出基于选项ID的消除方法以提升多项选择题性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多项选择题 语言模型 消除策略 去偏技术 模型评估

📋 核心要点

  1. 现有的消除方法在直接识别错误选项或评分选项时存在适用性不足和性能不佳的问题。
  2. 本文提出的$ ext{PoE}_{ ext{ID}}$方法通过引入去偏技术，增强了对LLMs的鲁棒性，并采用两种消除策略。
  3. 实验结果显示，$ ext{PoE}{ ext{ID}}$，尤其是$ ext{PoE}{ ext{ID}}^{ ext{log}}$，在多个数据集上显著提升了模型的选择信心和性能。

📝 摘要（中文）

多项选择题（MCQs）是评估大型语言模型（LLMs）的重要任务。基于人们在回答MCQs时常用的消除策略，本文提出了一种新颖的基于选项ID的消除方法（$ ext{PoE}{ ext{ID}}$）。该方法通过引入去偏技术来抵消LLMs的token偏差，增强了鲁棒性。$ ext{PoE}{ ext{ID}}$包括两种策略：$ ext{PoE}{ ext{ID}}^{ ext{log}}$和$ ext{PoE}{ ext{ID}}^{ ext{seq}}$，前者通过消除低于平均阈值的ID概率选项，后者则迭代移除ID概率最低的选项。实验结果表明，$ ext{PoE}_{ ext{ID}}$显著提升了零-shot和few-shot MCQs的性能，尤其是在选项较多的数据集上。

🔬 方法详解

问题定义：本文旨在解决现有多项选择题解答方法在识别错误选项时的不足，尤其是LLMs在直接识别错误选项时的局限性。现有方法往往依赖于简单的评分或直接标记错误选项，导致性能不佳。

核心思路：论文提出的$ ext{PoE}_{ ext{ID}}$方法通过引入选项ID的消除策略，结合去偏技术，旨在提高LLMs在多项选择题中的解答准确性和鲁棒性。

技术框架：整体方法分为两个主要策略：$ ext{PoE}{ ext{ID}}^{ ext{log}}$和$ ext{PoE}{ ext{ID}}^{ ext{seq}}$。前者通过计算选项ID的对数概率并与平均阈值比较来消除选项，后者则是迭代地移除ID概率最低的选项。

关键创新：最重要的创新在于引入了去偏技术，显著提高了LLMs在选择正确选项时的信心，并且相较于传统的[MASK]替换方法，选项消除策略表现更佳。

关键设计：在设计中，选项ID的概率计算和阈值设定是关键参数，损失函数的选择也影响了模型的训练效果。具体的网络结构细节和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，$ ext{PoE}{ ext{ID}}$方法，尤其是$ ext{PoE}{ ext{ID}}^{ ext{log}}$，在6种不同的LLMs上进行了广泛测试，显著提升了零-shot和few-shot MCQs的性能，尤其是在选项较多的数据集上，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线测试系统和智能问答系统等。通过提升LLMs在多项选择题中的表现，可以更有效地评估和利用这些模型在实际应用中的能力，推动智能教育和自动化评估的发展。

📄 摘要（原文）

Multiple choice questions (MCQs) are a popular and important task for evaluating large language models (LLMs). Based on common strategies people use when answering MCQs, the process of elimination (PoE) has been proposed as an effective problem-solving method. Existing PoE methods typically either have LLMs directly identify incorrect options or score options and replace lower-scoring ones with [MASK]. However, both methods suffer from inapplicability or suboptimal performance. To address these issues, this paper proposes a novel option-ID based PoE ($\text{PoE}{\text{ID}}$). $\text{PoE}{\text{ID}}$ critically incorporates a debiasing technique to counteract LLMs token bias, enhancing robustness over naive ID-based elimination. It features two strategies: $\text{PoE}{\text{ID}}^{\text{log}}$, which eliminates options whose IDs have log probabilities below the average threshold, and $\text{PoE}{\text{ID}}^{\text{seq}}$, which iteratively removes the option with the lowest ID probability. We conduct extensive experiments with 6 different LLMs on 4 diverse datasets. The results demonstrate that $\text{PoE}{\text{ID}}$, especially $\text{PoE}{\text{ID}}^{\text{log}}$, significantly improves zero-shot and few-shot MCQs performance, particularly in datasets with more options. Our analyses demonstrate that $\text{PoE}_{\text{ID}}^{\text{log}}$ enhances the LLMs' confidence in selecting the correct option, and the option elimination strategy outperforms methods relying on [MASK] replacement. We further investigate the limitations of LLMs in directly identifying incorrect options, which stem from their inherent deficiencies.