LANTERN: Scalable Distillation of Large Language Models for Job-Person Fit and Explanation

📄 arXiv: 2510.05490v1 📥 PDF

作者: Zhoutong Fu, Yihan Cao, Yi-Lin Chen, Aman Lunia, Liming Dong, Neha Saraf, Ruijie Jiang, Yun Dai, Qingquan Song, Tan Wang, Guoyao Li, Derek Koh, Haichao Wei, Zhipeng Wang, Aman Gupta, Chengming Jiang, Jianqiang Shen, Liangjie Hong, Wenjing Zhang

分类: cs.CL, cs.AI

发布日期: 2025-10-07

备注: 9 pages, 4 figures, 5 tables

💡 一句话要点

LANTERN：面向职位-人才匹配与解释的大语言模型可扩展蒸馏框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 大型语言模型 职位-人才匹配 多目标学习 自然语言处理

📋 核心要点

  1. 现有方法难以直接将大型语言模型应用于职位-人才匹配，原因是领域复杂、需要结构化输出且模型推理延迟高。
  2. LANTERN通过多目标建模和多级知识蒸馏，将大型教师模型的知识提炼到更小的编码器-解码器模型中。
  3. 实验表明，LANTERN显著提高了职位-人才匹配和解释的性能，并在线上评估中提升了求职者参与度。

📝 摘要（中文）

大型语言模型（LLM）在各种自然语言处理任务中表现出色。然而，在特定领域（如求职平台中的职位-人才匹配和解释）大规模部署LLM面临独特的挑战。在LinkedIn，职位-人才匹配任务需要分析候选人的公开资料与职位要求，以生成匹配评估和详细解释。直接应用开源或微调的LLM通常无法产生高质量、可操作的反馈，因为领域复杂且需要结构化输出。此外，这些模型体积庞大，导致推理延迟高，限制了可扩展性，不适合在线使用。为了解决这些问题，我们引入了LANTERN，一种专门为职位-人才匹配任务量身定制的新型LLM知识蒸馏框架。LANTERN涉及对多个目标建模，包括用于分类的编码器模型和用于解释的解码器模型。为了更好地将知识从强大的黑盒教师模型提炼到多个下游模型，LANTERN结合了多级知识蒸馏，集成了数据和logit层面的信息。除了引入知识蒸馏框架外，我们还分享了关于后训练技术和提示工程的见解，这些对于成功地将LLM应用于特定领域的下游任务至关重要。大量的实验结果表明，LANTERN显著提高了职位-人才匹配和解释的任务特定指标。在线评估进一步证实了其有效性，表明求职者参与度显著提高，包括申请率提高0.24％，合格申请数量提高0.28％。

🔬 方法详解

问题定义：论文旨在解决职位-人才匹配任务中，直接应用大型语言模型（LLM）所面临的挑战。现有方法，包括直接使用开源或微调的LLM，由于领域知识的复杂性、对结构化输出的需求以及LLM本身的高推理延迟，无法提供高质量、可操作的匹配评估和解释。这限制了LLM在该领域的实际应用和可扩展性。

核心思路：论文的核心思路是利用知识蒸馏技术，将大型、复杂的教师模型（teacher model）的知识迁移到更小、更高效的学生模型（student model）。具体而言，LANTERN框架采用多目标建模，同时训练一个用于分类的编码器和一个用于解释的解码器。通过多级知识蒸馏，学生模型不仅学习教师模型的数据层面的知识，还学习logit层面的知识，从而更全面地模仿教师模型的行为。

技术框架：LANTERN框架包含以下主要模块：1) 教师模型：一个预训练或微调的大型语言模型，作为知识的来源。2) 学生模型：一个包含编码器和解码器的较小模型，用于执行职位-人才匹配和解释任务。3) 多目标训练：同时优化分类（职位-人才匹配）和生成（解释）两个目标。4) 多级知识蒸馏：包括数据层面的蒸馏（例如，使用教师模型的预测作为学生模型的训练目标）和logit层面的蒸馏（例如，最小化教师模型和学生模型logit之间的差异）。

关键创新：LANTERN的关键创新在于其多级知识蒸馏框架，该框架能够有效地将大型语言模型的知识迁移到小型、特定领域的模型中。与传统的知识蒸馏方法相比，LANTERN不仅关注数据层面的知识迁移，还关注logit层面的知识迁移，从而更全面地模仿教师模型的行为。此外，LANTERN针对职位-人才匹配任务的特点，采用了多目标建模，同时优化分类和生成两个目标。

关键设计：LANTERN的关键设计包括：1) 编码器和解码器的选择：论文可能使用了Transformer架构的变体，例如BERT作为编码器，GPT作为解码器。2) 损失函数：多目标训练可能使用了交叉熵损失函数（用于分类）和序列到序列损失函数（用于生成）。3) 知识蒸馏损失：可能使用了KL散度或均方误差来衡量教师模型和学生模型logit之间的差异。4) 后训练技术和提示工程：这些技术用于进一步优化学生模型的性能，例如，通过对抗训练或微调提示来提高模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LANTERN在职位-人才匹配和解释任务上取得了显著的性能提升。在线评估显示，使用LANTERN后，求职者的申请率提高了0.24%，合格申请数量提高了0.28%。这些数据表明，LANTERN能够有效提高求职者的参与度和招聘效率。实验结果还表明，LANTERN在任务特定指标上优于其他基线模型，证明了其知识蒸馏框架的有效性。

🎯 应用场景

LANTERN框架可应用于各种职位招聘平台，提升职位与人才的匹配效率和准确性。通过提供高质量的匹配评估和解释，可以帮助求职者更好地了解自身优势和不足，从而提高求职成功率。同时，也能帮助招聘方更精准地筛选候选人，降低招聘成本。未来，该技术还可扩展到其他领域，如教育、医疗等，实现个性化推荐和服务。

📄 摘要（原文）

Large language models (LLMs) have achieved strong performance across a wide range of natural language processing tasks. However, deploying LLMs at scale for domain specific applications, such as job-person fit and explanation in job seeking platforms, introduces distinct challenges. At LinkedIn, the job person fit task requires analyzing a candidate's public profile against job requirements to produce both a fit assessment and a detailed explanation. Directly applying open source or finetuned LLMs to this task often fails to yield high quality, actionable feedback due to the complexity of the domain and the need for structured outputs. Moreover, the large size of these models leads to high inference latency and limits scalability, making them unsuitable for online use. To address these challenges, we introduce LANTERN, a novel LLM knowledge distillation framework tailored specifically for job person fit tasks. LANTERN involves modeling over multiple objectives, an encoder model for classification purpose, and a decoder model for explanation purpose. To better distill the knowledge from a strong black box teacher model to multiple downstream models, LANTERN incorporates multi level knowledge distillation that integrates both data and logit level insights. In addition to introducing the knowledge distillation framework, we share our insights on post training techniques and prompt engineering, both of which are crucial for successfully adapting LLMs to domain specific downstream tasks. Extensive experimental results demonstrate that LANTERN significantly improves task specific metrics for both job person fit and explanation. Online evaluations further confirm its effectiveness, showing measurable gains in job seeker engagement, including a 0.24\% increase in apply rate and a 0.28\% increase in qualified applications.