LLM-Based Schema-Aware Split Learning for Privacy-Preserving Mental Distress Prediction Across Heterogeneous Surveys
作者: Md Khalid Syfullah, Alvi Ataur Khalil
分类: cs.LG, cs.AI, cs.CR
发布日期: 2026-09-14
💡 一句话要点
提出基于LLM的架构感知分割学习以解决隐私保护的心理困扰预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心理健康 隐私保护 分割学习 大型语言模型 异构数据 协作分析 低秩适应
📋 核心要点
- 现有方法在隐私保护和异构调查数据整合方面面临挑战，难以实现有效的协作分析。
- 提出的架构感知分割学习框架利用LLM作为共享编码器，序列化调查记录以统一不同架构，确保隐私。
- 实验结果表明，该框架在小样本条件下表现优异，超越传统联邦学习方法，显著降低客户端计算负担。
📝 摘要（中文）
随着社会和生活方式的复杂性增加，心理困扰的普遍性也在上升。教育机构、工作场所和诊所等收集大量心理健康调查数据，以理解和减少这一负担。然而，隐私限制和不同的调查设计使得直接整合数据变得困难。本文提出了一种架构感知的分割学习框架，利用大型语言模型（LLM）作为共享语义编码器，协调不同机构的异构调查架构。通过将每个调查记录序列化为自然语言描述，统一不同的调查架构。该框架在仅使用2000个训练样本的情况下，达到了0.708的平均ANLS，超越了九个设置中的八个联邦学习（FL）结果，并将每个客户端的计算量减少了三个数量级，同时能够推广到未见数据集。
🔬 方法详解
问题定义：本文旨在解决在隐私保护下对异构心理健康调查数据进行协作分析的问题。现有方法在数据整合时面临隐私限制和调查设计差异的挑战。
核心思路：提出的框架通过使用大型语言模型（LLM）作为共享语义编码器，将不同调查记录序列化为自然语言描述，从而实现架构的统一，确保数据隐私。
技术框架：整体架构分为客户端和服务器两部分。客户端保留原始调查响应，仅运行轻量级前端；服务器则运行资源密集型的后端，进行模型训练和推理。
关键创新：该框架的主要创新在于结合了架构感知的分割学习和LLM的使用，显著提高了隐私保护和计算效率，与传统的联邦学习方法相比，能够在更少的样本上实现更好的性能。
关键设计：使用低秩适应（LoRA）对LLM进行微调，确保其在心理困扰评估中的有效性。框架设计中，客户端与服务器的分离计算大幅减少了客户端的计算负担，提升了整体效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用LLaMA-3.2-3B-Instruct模型，该框架在仅2000个训练样本的情况下，达到了0.708的平均ANLS，超越了九个设置中的八个联邦学习基线，并将每个客户端的计算量减少了三个数量级，展现出优越的性能和资源效率。
🎯 应用场景
该研究的潜在应用领域包括教育、医疗和心理健康等多个行业，能够帮助机构在保护用户隐私的前提下，进行有效的心理健康数据分析与预测。未来，该框架有望推动跨机构的协作研究，提升心理健康干预措施的有效性。
📄 摘要（原文）
Rising societal and lifestyle complexity has been linked to a growing prevalence of mental distress worldwide. Educational institutions, workplaces, clinics, etc. collect large volumes of mental health survey data to understand and reduce this burden. Collaborative analysis of such data could yield effective generalizable predictive models. Privacy constraints and varied survey designs (i.e., different questions, scales, and formats) hinder direct integration. We propose a schema-aware split learning (SL) framework that preserves privacy, using a large language model (LLM) as a shared semantic encoder to harmonize heterogeneous survey schemas across institutions. We serialize each survey record into a natural-language description, unifying disparate survey schemas into a common format. The LLM is fine-tuned for mental distress assessment via Low-Rank Adaptation (LoRA) and partitioned across client and server. Clients retain the raw survey responses locally and run only a lightweight front-end, so original records never leave the institution that collected them. The resource-intensive backbone runs on the server, minimizing client-side computation. Using LLaMA-3.2-3B-Instruct, the framework attains an average ANLS of 0.708 with only 2,000 training samples, surpasses federated learning (FL) in eight of nine settings, and cuts per-client computation by three orders of magnitude, while generalizing to unseen datasets. Overall, it enables accurate, privacy-preserving, and resource-efficient collaborative learning from heterogeneous mental health survey data.