It Depends: Resolving Referential Ambiguity in Minimal Contexts with Commonsense Knowledge

📄 arXiv: 2509.16107v1 📥 PDF

作者: Lukas Ellinger, Georg Groh

分类: cs.CL

发布日期: 2025-09-19

备注: Accepted by UncertaiNLP workshop @ EMNLP 2025

💡 一句话要点

研究表明，大型语言模型在最小上下文中利用常识知识解决指代消解歧义方面存在困难。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代消解 大型语言模型 常识推理 多轮对话 歧义处理

📋 核心要点

  1. 现有大型语言模型在处理对话中指代歧义时，无法有效利用常识知识进行消解，导致理解偏差。
  2. 该研究通过构建多语言数据集，分析了不同LLM在面对指代歧义时的行为模式，并考察了简化语言要求的影响。
  3. 实验表明，LLM倾向于单一解释或覆盖所有可能指代，且简化提示会降低常识推理能力；通过微调Llama-3.1-8B可显著提升消歧能力。

📝 摘要（中文）

歧义词或欠明确的指代需要对话者通过共享上下文和常识知识来解决。本文系统地研究了大型语言模型（LLMs）是否能够利用常识来解决多轮对话中的指代歧义，并分析了当歧义持续存在时它们的行为。此外，我们还研究了简化语言的要求如何影响这种能力。我们使用一种新的多语言评估数据集，通过LLM-as-Judge和人工标注测试了DeepSeek v3、GPT-4o、Qwen3-32B、GPT-4o-mini和Llama-3.1-8B。我们的研究结果表明，当前的LLMs在有效解决歧义方面存在困难：它们倾向于坚持单一解释或涵盖所有可能的指代，而不是进行对冲或寻求澄清。这种局限性在简化提示下变得更加明显，这大大减少了常识推理和多样化响应策略的使用。使用直接偏好优化对Llama-3.1-8B进行微调，可以显著提高所有请求类型的歧义消解能力。这些结果强调需要进行高级微调，以提高LLMs处理歧义的能力，并确保在不同的沟通风格中具有强大的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在最小上下文中，利用常识知识进行指代消解时遇到的困难。现有方法，如直接应用预训练LLM，无法有效处理歧义，要么倾向于选择单一解释，要么试图覆盖所有可能性，缺乏对歧义的有效识别和处理机制。

核心思路：论文的核心思路是通过系统性的实验评估，揭示现有LLM在指代消解方面的不足，并探索通过微调来提升LLM的消歧能力。特别关注简化语言请求对LLM性能的影响，以及如何通过优化训练策略来改善LLM的常识推理和歧义处理能力。

技术框架：该研究的技术框架主要包括：1) 构建多语言评估数据集，用于测试LLM在指代消解方面的能力；2) 选择多个代表性的LLM（如DeepSeek v3, GPT-4o, Qwen3-32B, GPT-4o-mini, Llama-3.1-8B）进行评估；3) 使用LLM-as-Judge和人工标注两种方式对LLM的输出进行评估；4) 通过直接偏好优化（Direct Preference Optimization, DPO）对Llama-3.1-8B进行微调，并评估微调后的性能提升。

关键创新：该研究的关键创新在于：1) 系统性地评估了现有LLM在指代消解方面的能力，并揭示了其局限性；2) 提出了通过DPO微调来提升LLM消歧能力的方法，并验证了其有效性；3) 关注了简化语言请求对LLM性能的影响，并提出了相应的改进策略。

关键设计：在实验设计方面，论文构建了一个新的多语言评估数据集，该数据集专门用于测试LLM在指代消解方面的能力。在微调方面，论文采用了直接偏好优化（DPO）算法，这是一种无需显式奖励模型的强化学习方法，可以直接优化LLM的策略。具体的参数设置和损失函数等技术细节在论文中可能未详细描述，属于实现层面的内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLM在指代消解方面表现不佳，尤其是在简化语言请求下，常识推理能力显著下降。然而，通过使用直接偏好优化（DPO）对Llama-3.1-8B进行微调，可以在所有请求类型中显著提高歧义消解能力。具体的性能提升数据在论文中可能有所体现，但摘要中未明确给出。

🎯 应用场景

该研究成果可应用于智能对话系统、机器翻译、信息检索等领域，提升机器理解人类语言的准确性和流畅性。通过改进LLM的指代消解能力，可以减少误解和歧义，提高人机交互的效率和用户体验。未来，该技术有望应用于更复杂的自然语言处理任务，如文档摘要、知识图谱构建等。

📄 摘要（原文）

Ambiguous words or underspecified references require interlocutors to resolve them, often by relying on shared context and commonsense knowledge. Therefore, we systematically investigate whether Large Language Models (LLMs) can leverage commonsense to resolve referential ambiguity in multi-turn conversations and analyze their behavior when ambiguity persists. Further, we study how requests for simplified language affect this capacity. Using a novel multilingual evaluation dataset, we test DeepSeek v3, GPT-4o, Qwen3-32B, GPT-4o-mini, and Llama-3.1-8B via LLM-as-Judge and human annotations. Our findings indicate that current LLMs struggle to resolve ambiguity effectively: they tend to commit to a single interpretation or cover all possible references, rather than hedging or seeking clarification. This limitation becomes more pronounced under simplification prompts, which drastically reduce the use of commonsense reasoning and diverse response strategies. Fine-tuning Llama-3.1-8B with Direct Preference Optimization substantially improves ambiguity resolution across all request types. These results underscore the need for advanced fine-tuning to improve LLMs' handling of ambiguity and to ensure robust performance across diverse communication styles.