It Depends: Resolving Referential Ambiguity in Minimal Contexts with Commonsense Knowledge

📄 arXiv: 2509.16107v1 📥 PDF

作者: Lukas Ellinger, Georg Groh

分类: cs.CL

发布日期: 2025-09-19

备注: Accepted by UncertaiNLP workshop @ EMNLP 2025

💡 一句话要点

研究表明，大型语言模型在最小上下文中利用常识知识解决指代消解歧义方面存在困难。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代消解 歧义处理 大型语言模型 常识推理 多轮对话

📋 核心要点

  1. 现有大型语言模型在处理指代消解歧义时，未能有效利用常识知识和上下文信息，导致理解偏差。
  2. 该研究通过构建多语言数据集，并分析LLM在不同简化程度提示下的表现，揭示了其在歧义处理上的局限性。
  3. 通过直接偏好优化微调Llama-3.1-8B模型，显著提升了其在各种请求类型下的歧义消解能力，验证了微调的有效性。

📝 摘要（中文）

歧义词或欠明确的指代需要对话者通过依赖共享上下文和常识知识来解决。因此，我们系统地研究了大型语言模型（LLM）是否可以利用常识来解决多轮对话中的指代歧义，并分析了当歧义持续存在时它们的行为。此外，我们研究了简化语言的请求如何影响这种能力。我们使用一种新的多语言评估数据集，通过LLM-as-Judge和人工标注来测试DeepSeek v3、GPT-4o、Qwen3-32B、GPT-4o-mini和Llama-3.1-8B。我们的研究结果表明，当前的LLM难以有效地解决歧义：它们倾向于坚持单一的解释或涵盖所有可能的指代，而不是回避或寻求澄清。这种局限性在简化提示下变得更加明显，这大大减少了常识推理和多样化响应策略的使用。使用直接偏好优化对Llama-3.1-8B进行微调，可以显著提高所有请求类型的歧义消解能力。这些结果强调需要进行高级微调，以提高LLM处理歧义的能力，并确保在不同的沟通风格中具有强大的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在最小上下文中，由于缺乏常识知识而无法有效解决指代消解歧义的问题。现有方法在处理歧义时，要么倾向于单一解释，要么覆盖所有可能指代，缺乏灵活性和准确性。此外，简化语言的请求会进一步降低模型的常识推理能力，加剧歧义处理的困难。

核心思路：论文的核心思路是通过系统性的实验评估，揭示现有LLM在指代消解歧义方面的不足，并探索通过微调来提升其性能。具体而言，通过构建多语言数据集，模拟真实对话场景中的歧义情况，并分析LLM在不同提示下的响应策略。然后，利用直接偏好优化（Direct Preference Optimization, DPO）对Llama-3.1-8B模型进行微调，使其更好地适应歧义消解任务。

技术框架：该研究的技术框架主要包括以下几个部分：1) 构建多语言评估数据集，包含具有指代歧义的对话片段；2) 选择多个代表性的LLM（如DeepSeek v3、GPT-4o、Qwen3-32B、GPT-4o-mini和Llama-3.1-8B）进行测试；3) 使用LLM-as-Judge和人工标注两种方式评估模型的性能；4) 对Llama-3.1-8B模型进行DPO微调；5) 比较微调前后模型在歧义消解任务上的表现。

关键创新：该研究的关键创新在于：1) 系统性地评估了现有LLM在指代消解歧义方面的能力，揭示了其在常识推理和上下文理解方面的局限性；2) 提出了通过DPO微调来提升LLM歧义消解能力的有效方法；3) 构建了一个新的多语言评估数据集，为后续研究提供了基准。与现有方法相比，该研究更注重对LLM在真实对话场景中歧义处理能力的评估和提升。

关键设计：在实验设计方面，论文使用了不同类型的提示（包括简化语言的请求）来测试LLM的鲁棒性。在DPO微调方面，论文可能需要仔细设计奖励函数，以引导模型学习更准确的指代消解策略。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述，但此处未知。

📊 实验亮点

实验结果表明，现有LLM在处理指代消解歧义时表现不佳，倾向于选择单一解释或覆盖所有可能指代。在简化提示下，模型性能进一步下降。然而，通过DPO微调Llama-3.1-8B模型，在所有请求类型下，歧义消解能力得到显著提升，验证了微调的有效性。具体性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于智能客服、对话系统、机器翻译等领域，提升机器在复杂语境下的理解能力，减少因歧义导致的错误。通过提高LLM的歧义消解能力，可以改善人机交互体验，使机器更自然、准确地理解人类意图，从而实现更智能化的服务。

📄 摘要（原文）

Ambiguous words or underspecified references require interlocutors to resolve them, often by relying on shared context and commonsense knowledge. Therefore, we systematically investigate whether Large Language Models (LLMs) can leverage commonsense to resolve referential ambiguity in multi-turn conversations and analyze their behavior when ambiguity persists. Further, we study how requests for simplified language affect this capacity. Using a novel multilingual evaluation dataset, we test DeepSeek v3, GPT-4o, Qwen3-32B, GPT-4o-mini, and Llama-3.1-8B via LLM-as-Judge and human annotations. Our findings indicate that current LLMs struggle to resolve ambiguity effectively: they tend to commit to a single interpretation or cover all possible references, rather than hedging or seeking clarification. This limitation becomes more pronounced under simplification prompts, which drastically reduce the use of commonsense reasoning and diverse response strategies. Fine-tuning Llama-3.1-8B with Direct Preference Optimization substantially improves ambiguity resolution across all request types. These results underscore the need for advanced fine-tuning to improve LLMs' handling of ambiguity and to ensure robust performance across diverse communication styles.