LLM-augmented Preference Learning from Natural Language

📄 arXiv: 2310.08523v1 📥 PDF

作者: Inwon Kang, Sikai Ruan, Tyler Ho, Jui-Chien Lin, Farhad Mohsin, Oshani Seneviratne, Lirong Xia

分类: cs.CL

发布日期: 2023-10-12

💡 一句话要点

提出基于LLM的自然语言偏好学习方法以提升分类性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 偏好学习 大型语言模型 少量样本学习 文本分类

📋 核心要点

  1. 现有方法在处理长文本时性能不足，难以有效提取自然语言中的偏好信息。
  2. 本文提出将分类任务格式化为LLM的输入提示，利用LLM的上下文处理能力进行偏好学习。
  3. 实验结果显示，预训练的LLMs在长文本分类任务中超越了现有最先进模型，且少量样本学习效果优于零样本学习。

📝 摘要（中文）

在自然语言中寻找表达的偏好是一项重要但具有挑战性的任务。现有的最先进方法主要依赖于基于变换器的模型（如BERT、RoBERTa）和图神经网络架构。本文探讨了大型语言模型（LLMs）在直接分类比较文本方面的能力，旨在为使用LLMs进行比较偏好分类（CPC）任务奠定基础。通过将分类任务格式化为LLM的输入提示，并设计自动评估的固定格式响应，实验结果表明，预训练的LLMs在无需微调的情况下能够超越现有的最先进模型，尤其在处理较长文本时表现更为优越，而在短文本中则与最先进模型的性能相当。此外，少量样本学习的表现优于零样本学习。

🔬 方法详解

问题定义：本文旨在解决从自然语言中提取偏好的分类任务，现有方法在处理长文本时性能不足，难以有效捕捉复杂的偏好信息。

核心思路：通过将分类任务格式化为大型语言模型（LLM）的输入提示，利用LLM在处理长上下文时的优势，直接进行文本分类。这样设计的目的是充分发挥LLM的能力，减少对微调的依赖。

技术框架：整体架构包括将输入文本格式化为LLM的提示，LLM生成固定格式的响应，并通过自动评估机制对结果进行评估。主要模块包括输入提示设计、LLM响应生成和结果评估。

关键创新：最重要的创新点在于首次将LLM应用于比较偏好分类任务，且在无需微调的情况下超越了现有的最先进模型，展示了LLM在此领域的潜力。

关键设计：在实验中，采用了预训练的LLM，并设计了特定的输入提示格式，确保模型能够有效理解任务要求。实验还比较了零样本学习与少量样本学习的效果，发现后者表现更佳。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，预训练的LLMs在处理长文本时的分类性能显著优于现有的最先进模型，尤其在长文本上表现出色，且在短文本中与最先进模型的性能相当。此外，少量样本学习的效果明显优于零样本学习，展示了LLM在偏好学习任务中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括用户偏好分析、推荐系统和情感分析等。通过提高自然语言偏好学习的准确性，能够为个性化服务和产品推荐提供更为精准的支持，进而提升用户体验。未来，该方法可能在多种自然语言处理任务中得到广泛应用，推动相关领域的发展。

📄 摘要（原文）

Finding preferences expressed in natural language is an important but challenging task. State-of-the-art(SotA) methods leverage transformer-based models such as BERT, RoBERTa, etc. and graph neural architectures such as graph attention networks. Since Large Language Models (LLMs) are equipped to deal with larger context lengths and have much larger model sizes than the transformer-based model, we investigate their ability to classify comparative text directly. This work aims to serve as a first step towards using LLMs for the CPC task. We design and conduct a set of experiments that format the classification task into an input prompt for the LLM and a methodology to get a fixed-format response that can be automatically evaluated. Comparing performances with existing methods, we see that pre-trained LLMs are able to outperform the previous SotA models with no fine-tuning involved. Our results show that the LLMs can consistently outperform the SotA when the target text is large -- i.e. composed of multiple sentences --, and are still comparable to the SotA performance in shorter text. We also find that few-shot learning yields better performance than zero-shot learning.