MockLLM: A Multi-Agent Behavior Collaboration Framework for Online Job Seeking and Recruiting

📄 arXiv: 2405.18113v2 📥 PDF

作者: Hongda Sun, Hongzhan Lin, Haiyu Yan, Yang Song, Xin Gao, Rui Yan

分类: cs.CL, cs.AI

发布日期: 2024-05-28 (更新: 2025-06-26)

备注: Accepted by KDD 2025 Research Track

💡 一句话要点

提出MockLLM，用于在线招聘中模拟面试交互，提升人岗匹配精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线招聘 大型语言模型 模拟面试 人岗匹配 多智能体协作

📋 核心要点

  1. 传统招聘方法侧重于文本分析，忽略了动态交互在人岗匹配中的重要性，导致匹配效果受限。
  2. MockLLM通过模拟面试官和候选人之间的对话，实现实时的双向匹配，提升匹配的准确性和效率。
  3. 实验表明，MockLLM在匹配准确性、可扩展性和适应性方面优于现有方法，具有实际应用潜力。

📝 摘要（中文）

在线招聘平台重塑了求职和招聘流程，对增强人岗匹配的应用需求日益增长。传统方法通常依赖于分析简历和职位描述中的文本数据，限制了有效招聘至关重要的动态交互方面。大型语言模型（LLM）的最新进展表明，其在模拟自适应、基于角色的对话方面具有显著潜力，非常适合招聘场景。本文提出了MockLLM，一个用于生成和评估模拟面试交互的新框架。该系统由两个关键组件组成：模拟面试生成和握手协议中的双向评估。通过模拟面试官和候选人角色，MockLLM实现了实时和双向匹配的一致和协作交互。为了进一步提高匹配质量，MockLLM还结合了反思记忆生成和动态策略修改，根据先前的经验改进行为。我们在中国主要的招聘平台Boss直聘的真实数据上评估了MockLLM。实验结果表明，MockLLM在跨职位领域的匹配准确性、可扩展性和适应性方面优于现有方法，突显了其在推进候选人评估和在线招聘方面的潜力。

🔬 方法详解

问题定义：当前在线招聘主要依赖对简历和职位描述的文本分析，缺乏动态交互，难以全面评估候选人与职位的匹配度。现有方法无法模拟面试过程中的沟通、应变等关键能力，导致人岗匹配效果不佳。

核心思路：利用大型语言模型（LLM）强大的对话生成能力，模拟面试官和候选人的角色，构建一个交互式的面试环境。通过模拟真实面试场景，更全面地评估候选人的能力和适应性，从而提高人岗匹配的准确性。

技术框架：MockLLM框架包含两个主要组件：模拟面试生成和双向评估。模拟面试生成模块负责生成面试官和候选人的对话内容，模拟面试过程。双向评估模块则基于握手协议，对面试过程进行评估，判断候选人与职位的匹配程度。此外，系统还包含反思记忆生成和动态策略修改模块，用于根据历史经验优化面试策略和提高匹配质量。

关键创新：MockLLM的核心创新在于其多智能体行为协作框架，能够模拟面试官和候选人之间的动态交互。与传统的静态文本分析方法不同，MockLLM能够捕捉面试过程中的非结构化信息，更全面地评估候选人的能力。此外，反思记忆生成和动态策略修改机制能够使系统不断学习和优化，提高匹配的准确性和效率。

关键设计：MockLLM使用预训练的LLM作为基础模型，并针对招聘场景进行微调。在模拟面试生成过程中，采用基于规则和基于学习的方法相结合，保证对话的流畅性和相关性。双向评估模块使用多种指标，如匹配度、流畅度、信息量等，综合评估面试效果。反思记忆生成模块则利用强化学习技术，根据历史面试数据优化面试策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MockLLM在Boss直聘数据集上取得了显著的性能提升。在匹配准确性方面，MockLLM优于现有的文本匹配方法，提升幅度达到10%以上。此外，MockLLM在可扩展性和适应性方面也表现出色，能够适应不同职位领域的需求，证明了其在实际应用中的潜力。

🎯 应用场景

MockLLM可应用于各类在线招聘平台，辅助企业进行候选人筛选和评估，提高招聘效率和质量。同时，也可为求职者提供模拟面试练习，帮助其提升面试技巧和自信心。该研究还可扩展到其他需要人机交互的场景，如在线教育、客户服务等，具有广阔的应用前景。

📄 摘要（原文）

Online recruitment platforms have reshaped job-seeking and recruiting processes, driving increased demand for applications that enhance person-job matching. Traditional methods generally rely on analyzing textual data from resumes and job descriptions, limiting the dynamic, interactive aspects crucial to effective recruitment. Recent advances in Large Language Models (LLMs) have revealed remarkable potential in simulating adaptive, role-based dialogues, making them well-suited for recruitment scenarios. In this paper, we propose \textbf{MockLLM}, a novel framework to generate and evaluate mock interview interactions. The system consists of two key components: mock interview generation and two-sided evaluation in handshake protocol. By simulating both interviewer and candidate roles, MockLLM enables consistent and collaborative interactions for real-time and two-sided matching. To further improve the matching quality, MockLLM further incorporates reflection memory generation and dynamic strategy modification, refining behaviors based on previous experience. We evaluate MockLLM on real-world data Boss Zhipin, a major Chinese recruitment platform. The experimental results indicate that MockLLM outperforms existing methods in matching accuracy, scalability, and adaptability across job domains, highlighting its potential to advance candidate assessment and online recruitment.