Reasoning over Object Descriptions Improves Coreference Resolution in Task-Based Dialogue Systems
作者: Oier Ijurco, Oier Lopez de Lacalle
分类: cs.CL
发布日期: 2026-04-30
备注: To be published in LREC 2026
💡 一句话要点
提出基于对象描述推理的LLM方法，提升任务型对话系统中指代消解性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指代消解 任务型对话系统 大型语言模型 测试时推理 对象描述
📋 核心要点
- 现有任务型对话系统指代消解方法泛化性差，易过拟合特定数据集。
- 提出利用LLM在测试时推理对象元数据和对话历史，提升指代消解能力。
- 实验表明，该方法在跨领域少样本场景下优于传统监督方法，泛化性更强。
📝 摘要（中文）
在任务型对话系统中，通过自然语言交互帮助用户完成特定目标，例如执行操作或检索信息。准确的指代消解至关重要，因为它涉及识别对话中的对象引用。在视觉环境中，由于场景复杂和对象元数据多样，这项任务更具挑战性。然而，任务型对话中的指代消解受到跨领域泛化能力差以及过度依赖监督模型的限制，这些模型容易过拟合数据集特定的伪影。本文提出了一种单模态测试时推理方法，使大型语言模型（LLM）能够推理详细的对象元数据和对话历史，从而提高指代消解的性能。在SIMMC 2.1数据集上的实验结果表明，LLM可以生成逐步推理过程，有效地将对话上下文与场景中存在的对象对齐。实验结果突出了模型准确链接对话和对象的能力。此外，我们表明，在少样本设置下的测试时推理可以有效地泛化到未见过的场景和新对象，在跨领域评估中优于基于编码器的监督方法。这些发现强调了结构化元数据和精心设计的提示工程在增强面向任务的对话系统的鲁棒性和泛化能力方面的关键作用。
🔬 方法详解
问题定义：论文旨在解决任务型对话系统中指代消解的难题，尤其是在视觉场景复杂、对象元数据丰富的环境中。现有方法主要依赖于监督学习，容易过拟合特定数据集，导致跨领域泛化能力不足。此外，这些方法往往忽略了对象描述信息，无法充分利用场景中的结构化知识。
核心思路：论文的核心思路是利用大型语言模型（LLM）的推理能力，在测试时对对象元数据和对话历史进行推理，从而更准确地进行指代消解。通过精心设计的提示（prompt），引导LLM逐步分析对话上下文和对象信息，最终确定指代对象。这种方法无需额外的训练数据，可以有效提高模型的泛化能力。
技术框架：该方法主要包含以下几个阶段：1) 获取对话历史和场景中的对象元数据；2) 构建包含对话历史、对象描述和推理提示的输入；3) 使用LLM生成逐步推理过程；4) 根据推理结果确定指代对象。整个框架是单模态的，只依赖于文本信息，避免了多模态融合的复杂性。
关键创新：该方法最重要的创新点在于利用LLM的测试时推理能力，将指代消解问题转化为一个推理问题。与传统的监督学习方法不同，该方法不需要大量的标注数据，可以通过prompt engineering来引导LLM进行推理，从而提高模型的泛化能力。此外，该方法充分利用了对象元数据，将结构化知识融入到推理过程中。
关键设计：关键设计在于prompt的设计，prompt需要包含清晰的指令，引导LLM逐步分析对话上下文和对象信息，并最终确定指代对象。例如，prompt可以包含以下几个步骤：1) 总结对话上下文；2) 分析每个对象的属性；3) 比较对象属性与对话上下文，找出最匹配的对象。此外，论文还探索了不同的prompt策略，例如少样本学习，以进一步提高模型的性能。
🖼️ 关键图片
📊 实验亮点
在SIMMC 2.1数据集上的实验结果表明，该方法在跨领域评估中优于基于编码器的监督方法，证明了其良好的泛化能力。具体来说，在少样本设置下，该方法能够有效地泛化到未见过的场景和新对象，显著提高了指代消解的准确性。这些结果表明，利用LLM进行测试时推理是一种有效的指代消解方法。
🎯 应用场景
该研究成果可应用于各种任务型对话系统，例如智能客服、虚拟助手、电商导购等。通过提高指代消解的准确性，可以提升用户体验，减少人机交互的歧义，并支持更复杂的任务执行。未来，该方法可以扩展到其他自然语言处理任务，例如问答系统、文本摘要等。
📄 摘要（原文）
Task-based dialogue systems assist users in achieving specific goals, such as executing actions or retrieving information, through natural language interactions. Accurate coreference resolution is essential, as it involves identifying object references within the dialogue - a task that becomes increasingly challenging in visually grounded environments characterized by complex scenes and diverse object metadata. However, coreference resolution in task-based dialogue remains limited by poor generalization across domains and heavy reliance on supervised models that often overfit to dataset-specific artifacts. In this work, we propose a unimodal test-time reasoning approach that enables large language models (LLMs) to reason over detailed object metadata and dialogue history to improve coreference resolution. Empirical results on the SIMMC 2.1 dataset demonstrate that LLMs can generate step-by-step reasoning processes that effectively align dialogue context with objects present in the scene. Extensive experiments highlight the models' ability to link conversations and objects accurately. Moreover, we show that test-time reasoning under few-shot settings generalizes effectively to unseen scenarios and novel objects, outperforming encoder-based supervised methods in cross-domain evaluations. These findings underscore the critical role of structured metadata and careful prompt engineering in enhancing the robustness and generalization of task-oriented dialogue systems.