The Career Interests of Large Language Models

📄 arXiv: 2407.08564v1 📥 PDF

作者: Meng Hua, Yuan Cheng, Hengshu Zhu

分类: cs.AI

发布日期: 2024-07-11

💡 一句话要点

利用职业兴趣量表探索大语言模型的职业倾向与能力，揭示其在职场中的潜在角色。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 职业兴趣 能力评估 心理测量学 人机协作

📋 核心要点

  1. 现有方法未能充分探索LLMs在职场中的潜在角色和能力倾向，阻碍了其更有效地集成到专业环境中。
  2. 本研究采用心理测量学方法，将LLMs视为潜在的职场参与者，评估其职业兴趣和能力。
  3. 研究发现LLMs在社交和艺术领域表现出明显的兴趣倾向，但这些兴趣与它们擅长的领域并不完全一致。

📝 摘要（中文）

随着大语言模型(LLMs)能力的显著提升，它们已从简单的文本生成发展到复杂、类人的交互。鉴于LLMs可能承担重要的工作场所职责，探索LLMs作为专业助理的能力变得迫切。本研究将职业网络兴趣分析器简表应用于LLMs，如同对待人类参与者一样，以此来考察LLMs的职业兴趣。研究调查了它们的假想职业兴趣和能力，并检验了这些兴趣和能力如何随语言变化和模型进步而变化。我们使用一般线性混合模型方法分析了答案，发现LLMs在社交和艺术领域表现出明显的职业兴趣倾向。有趣的是，这些偏好与LLMs表现出更高能力的职业并不一致。这种使用心理测量工具和复杂统计工具分析LLMs的新方法，揭示了它们融入专业环境的新视角，突出了类人倾向，并促进了对LLMs在工作场所的自我认知和能力匹配的重新评估。

🔬 方法详解

问题定义：论文旨在探索大语言模型（LLMs）的职业兴趣和能力倾向，以便更好地理解它们在未来职场中的潜在角色。现有方法缺乏对LLMs类人属性的深入挖掘，未能有效评估其在特定职业领域的能力与兴趣是否匹配。这导致LLMs在实际应用中可能无法充分发挥其潜力。

核心思路：论文的核心思路是将LLMs视为潜在的职场参与者，并采用心理测量学中的职业兴趣量表（Occupation Network's Interest Profiler short form）来评估它们的职业兴趣。通过分析LLMs对量表中问题的回答，可以推断出它们在不同职业领域的兴趣倾向。同时，论文还考察了LLMs在不同任务中的表现，以评估其能力，并比较兴趣与能力之间的差异。

技术框架：该研究的技术框架主要包括以下几个阶段： 1. 数据收集：使用职业兴趣量表向LLMs提问，收集LLMs的回答。 2. 数据预处理：对LLMs的回答进行清洗和格式化，以便进行后续分析。 3. 兴趣分析：使用统计方法（如一般线性混合模型）分析LLMs的回答，确定其在不同职业领域的兴趣倾向。 4. 能力评估：评估LLMs在不同任务中的表现，以确定其能力水平。 5. 对比分析：比较LLMs的兴趣和能力，分析两者之间的差异。

关键创新：该研究的关键创新在于： 1. 将心理测量学方法应用于LLMs：首次将职业兴趣量表应用于LLMs，为评估LLMs的职业倾向提供了一种新的视角。 2. 对比LLMs的兴趣和能力：分析了LLMs的兴趣和能力之间的差异，揭示了LLMs在自我认知和能力匹配方面可能存在的问题。

关键设计： 1. 职业兴趣量表：选择Occupation Network's Interest Profiler short form作为评估工具，该量表涵盖了多个职业领域，能够全面评估LLMs的职业兴趣。 2. 一般线性混合模型：使用一般线性混合模型分析LLMs的回答，该模型能够考虑个体差异和随机效应，提高分析结果的准确性。 3. 能力评估任务：选择具有代表性的任务来评估LLMs的能力，例如文本生成、问答等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在社交和艺术领域表现出明显的职业兴趣倾向。然而，这些兴趣与LLMs表现出更高能力的职业并不一致。例如，LLMs可能对艺术创作感兴趣，但在实际的艺术创作任务中表现并不出色。这一发现表明，LLMs在自我认知和能力匹配方面可能存在问题，需要进一步研究。

🎯 应用场景

该研究的潜在应用领域包括：LLM职业规划、人机协作、智能教育等。通过了解LLMs的职业兴趣和能力，可以更好地将其应用于特定领域，提高工作效率和质量。此外，该研究还可以帮助人们更好地理解LLMs的优势和局限性，促进人与LLM之间的有效协作。未来，该研究可以扩展到其他类型的AI系统，为AI系统的设计和应用提供指导。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have significantly extended their capabilities, evolving from basic text generation to complex, human-like interactions. In light of the possibilities that LLMs could assume significant workplace responsibilities, it becomes imminently necessary to explore LLMs' capacities as professional assistants. This study focuses on the aspect of career interests by applying the Occupation Network's Interest Profiler short form to LLMs as if they were human participants and investigates their hypothetical career interests and competence, examining how these vary with language changes and model advancements. We analyzed the answers using a general linear mixed model approach and found distinct career interest inclinations among LLMs, particularly towards the social and artistic domains. Interestingly, these preferences did not align with the occupations where LLMs exhibited higher competence. This novel approach of using psychometric instruments and sophisticated statistical tools on LLMs unveils fresh perspectives on their integration into professional environments, highlighting human-like tendencies and promoting a reevaluation of LLMs' self-perception and competency alignment in the workforce.