Perspective Transition of Large Language Models for Solving Subjective Tasks

📄 arXiv: 2501.09265v2 📥 PDF

作者: Xiaolong Wang, Yuanchi Zhang, Ziyue Wang, Yuzhuang Xu, Fuwen Luo, Yile Wang, Peng Li, Yang Liu

分类: cs.CL, cs.AI

发布日期: 2025-01-16 (更新: 2025-06-18)

备注: ACL 2025 Findings

💡 一句话要点

提出RPT方法，通过视角转换提升大语言模型在主观任务上的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 主观任务 视角转换 上下文学习 提示工程

📋 核心要点

  1. 现有大语言模型在主观任务中表现受限，缺乏根据问题调整视角的机制，影响了对上下文的理解和响应的准确性。
  2. 论文提出视角转换推理（RPT）方法，通过上下文学习使大语言模型能在直接、角色扮演和第三人称视角间动态选择。
  3. 实验结果表明，RPT方法在多个主观任务上优于传统的思维链提示和专家提示等固定视角方法，提升了性能。

📝 摘要（中文）

大型语言模型（LLMs）彻底改变了自然语言处理领域，在各种任务中取得了显著进展。与常识推理和算术问答等客观任务不同，LLMs在主观任务上的表现仍然有限，在这些任务中，对特定问题的视角对于更好地理解上下文和给出适当的响应起着至关重要的作用。例如，在某些情况下，LLMs从专家角色视角回答问题时可能表现更好，从而可能引发其相关的领域知识。相反，在某些情况下，LLMs从第三人称角度回答问题时可能会提供更准确的响应，从而能够更全面地理解问题，并可能减轻固有的偏见。在本文中，我们提出了一种基于上下文学习的视角转换推理（RPT）方法，该方法使LLMs能够在直接、角色和第三人称视角之间动态选择，以找到解决相应主观问题的最佳方式。通过使用GPT-4、GPT-3.5、Llama-3和Qwen-2等闭源和开源LLMs在总共12个主观任务上进行的大量实验，我们的方法优于广泛使用的基于单一固定视角的方法，如思维链提示和专家提示，突出了LLMs可以调整其视角以针对不同问题提供细致和上下文相关的响应的复杂方式。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在主观任务中表现不佳的问题。现有方法，如思维链提示和专家提示，通常采用单一固定视角，无法根据不同任务的特点进行灵活调整，导致理解偏差和不准确的回答。因此，如何使LLMs能够动态选择合适的视角，以更好地理解上下文并给出适当的响应，是本文要解决的核心问题。

核心思路：论文的核心思路是让LLMs具备视角转换的能力，使其能够根据不同的主观任务，在直接视角、角色扮演视角和第三人称视角之间进行动态选择。通过这种方式，LLMs可以更好地利用不同视角的优势，例如，角色扮演视角可以激发领域知识，而第三人称视角可以减少偏见。

技术框架：RPT方法基于上下文学习（In-Context Learning）。首先，构建一个包含不同视角示例的提示（prompt），这些示例展示了如何从不同视角解决类似的主观任务。然后，将待解决的问题与该提示一起输入LLM。LLM会根据提示中的示例，选择最合适的视角来回答问题。整个流程无需对LLM进行额外的训练。

关键创新：RPT方法的关键创新在于引入了视角转换的概念，并将其与上下文学习相结合。与传统的固定视角方法不同，RPT方法能够根据任务的特点动态选择视角，从而提高了LLMs在主观任务中的表现。此外，RPT方法无需额外的训练，可以直接应用于现有的LLMs。

关键设计：RPT方法的关键设计在于提示的构建。提示需要包含足够多的示例，以覆盖不同的视角和任务类型。此外，示例的质量也很重要，需要确保示例能够清晰地展示不同视角的优势和适用场景。论文中具体使用了三种视角：直接视角（直接回答问题）、角色扮演视角（扮演特定角色回答问题）和第三人称视角（以客观中立的角度回答问题）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RPT方法在12个主观任务上均优于传统的思维链提示和专家提示等固定视角方法。例如，在使用GPT-4时，RPT方法在某些任务上的性能提升超过10%。此外，RPT方法在不同的LLMs（包括GPT-4、GPT-3.5、Llama-3和Qwen-2）上均表现出良好的泛化能力。

🎯 应用场景

该研究成果可广泛应用于需要主观判断和理解的自然语言处理任务中，例如情感分析、观点挖掘、伦理判断、创意写作等。通过提升LLMs在这些任务中的表现，可以提高人机交互的质量和效率，并为相关领域的应用提供更强大的技术支持。未来，该方法有望扩展到更多领域，例如医疗诊断、法律咨询等。

📄 摘要（原文）

Large language models (LLMs) have revolutionized the field of natural language processing, enabling remarkable progress in various tasks. Different from objective tasks such as commonsense reasoning and arithmetic question-answering, the performance of LLMs on subjective tasks is still limited, where the perspective on the specific problem plays crucial roles for better interpreting the context and giving proper response. For example, in certain scenarios, LLMs may perform better when answering from an expert role perspective, potentially eliciting their relevant domain knowledge. In contrast, in some scenarios, LLMs may provide more accurate responses when answering from a third-person standpoint, enabling a more comprehensive understanding of the problem and potentially mitigating inherent biases. In this paper, we propose Reasoning through Perspective Transition (RPT), a method based on in-context learning that enables LLMs to dynamically select among direct, role, and third-person perspectives for the best way to solve corresponding subjective problem. Through extensive experiments on totally 12 subjective tasks by using both closed-source and open-source LLMs including GPT-4, GPT-3.5, Llama-3, and Qwen-2, our method outperforms widely used single fixed perspective based methods such as chain-of-thought prompting and expert prompting, highlights the intricate ways that LLMs can adapt their perspectives to provide nuanced and contextually appropriate responses for different problems.