Prompt-based Personality Profiling: Reinforcement Learning for Relevance Filtering
作者: Jan Hofmann, Cornelia Sindermann, Roman Klinger
分类: cs.CL
发布日期: 2024-09-06 (更新: 2025-05-28)
备注: Accepted to the REALM workshop at ACL 2025
💡 一句话要点
提出基于强化学习的提示方法，用于作者画像中相关内容过滤，提升预测准确性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 作者画像 强化学习 相关性过滤 大型语言模型 零样本学习 Transformer 性格预测
📋 核心要点
- 现有作者画像方法难以处理用户大量帖子，导致Transformer模型输入超长，API调用成本高昂。
- 提出基于强化学习的相关性过滤方法，先区分相关和不相关内容，再进行用户画像，降低计算成本。
- 实验表明，该方法在公开数据集上与使用所有帖子效果相当，但在平衡数据集上显著提升了预测准确性。
📝 摘要（中文）
作者画像是通过分析个人分享的内容来推断其特征的任务。尽管提示大型语言模型在自然语言理解任务中很受欢迎，但监督机器学习仍然主导着执行此任务的自动系统。一个原因是分类实例包含大量帖子（可能是一个完整的用户资料），这可能会超过Transformer的输入长度。即使模型可以使用较大的上下文窗口，除了“大海捞针”任务带来的问题外，完整帖子也使得API访问的黑盒系统的应用成本高昂且缓慢。为了缓解这一限制，我们提出了一种新的作者画像方法，该方法旨在首先区分相关内容和不相关内容，然后仅使用相关数据进行实际的用户画像。为了避免对相关性标注数据的需求，我们通过强化学习优化此相关性过滤器，其奖励函数利用大型语言模型的零样本能力。我们在两个Twitter语料库上评估了我们用于五大人格特质预测的方法。在具有倾斜标签分布的公开可用真实世界数据上，我们的方法显示出与使用用户资料中的所有帖子相似的功效，但上下文长度大大缩短。在这些数据的平衡版本（使用人工帖子）上的评估表明，过滤到相关帖子可以显着提高预测的准确性。
🔬 方法详解
问题定义：作者画像任务面临的挑战是，用户发布的文本量巨大，直接使用Transformer等模型进行处理时，容易超出模型输入长度限制，或者导致计算成本过高。现有的方法要么截断文本，要么直接使用所有文本，但这些方法都忽略了文本中可能存在大量与用户画像无关的信息，从而影响了模型的准确性。
核心思路：该论文的核心思路是，首先通过一个相关性过滤器，从用户的全部帖子中筛选出与用户画像相关的帖子，然后仅使用这些相关帖子进行用户画像。这样可以有效减少模型的输入长度，降低计算成本，同时提高模型的准确性。
技术框架：该方法包含两个主要阶段：相关性过滤阶段和用户画像阶段。在相关性过滤阶段，使用一个基于Transformer的模型作为策略网络，通过强化学习来优化该模型，使其能够区分相关和不相关的帖子。在用户画像阶段，使用筛选后的相关帖子作为输入，训练一个分类器来预测用户的性格特征。强化学习的奖励函数基于大型语言模型的零样本能力，无需人工标注相关性数据。
关键创新：该方法最重要的创新点在于，它将强化学习与大型语言模型的零样本能力相结合，用于优化相关性过滤器。这种方法避免了对大量相关性标注数据的需求，同时能够有效地筛选出与用户画像相关的帖子。
关键设计：策略网络使用Transformer模型，强化学习算法使用策略梯度方法。奖励函数的设计至关重要，它需要能够反映帖子与用户性格特征的相关性。论文中使用了大型语言模型的零样本分类能力来评估帖子与性格特征的相关性，并将其作为奖励信号。具体的参数设置和网络结构在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在两个Twitter语料库上的实验结果表明，该方法在公开可用的真实世界数据上，与使用所有帖子的方法效果相当，但上下文长度大大缩短。在平衡数据集上，该方法显著提高了预测的准确性，验证了相关性过滤的有效性。具体提升幅度在论文中有详细数据。
🎯 应用场景
该研究成果可应用于社交媒体用户分析、个性化推荐系统、网络安全等领域。例如，可以用于识别具有特定性格特征的用户，以便进行精准营销或风险评估。此外，该方法还可以扩展到其他文本分类任务中，例如情感分析、主题分类等，通过过滤掉不相关的信息，提高模型的准确性和效率。
📄 摘要（原文）
Author profiling is the task of inferring characteristics about individuals by analyzing content they share. Supervised machine learning still dominates automatic systems that perform this task, despite the popularity of prompting large language models to address natural language understanding tasks. One reason is that the classification instances consist of large amounts of posts, potentially a whole user profile, which may exceed the input length of Transformers. Even if a model can use a large context window, the entirety of posts makes the application of API-accessed black box systems costly and slow, next to issues which come with such "needle-in-the-haystack" tasks. To mitigate this limitation, we propose a new method for author profiling which aims at distinguishing relevant from irrelevant content first, followed by the actual user profiling only with relevant data. To circumvent the need for relevance-annotated data, we optimize this relevance filter via reinforcement learning with a reward function that utilizes the zero-shot capabilities of large language models. We evaluate our method for Big Five personality trait prediction on two Twitter corpora. On publicly available real-world data with a skewed label distribution, our method shows similar efficacy to using all posts in a user profile, but with a substantially shorter context. An evaluation on a version of these data balanced with artificial posts shows that the filtering to relevant posts leads to a significantly improved accuracy of the predictions.