No Transformer Beats Six Covariates: Long-Horizon Prediction of Depressive Symptoms from Childhood Essays

📄 arXiv: 2610.07764v1 📥 PDF

作者: Daniel Kua, Emrul Hasan, John-Jose Nunez, Frances Chen

分类: cs.CL, cs.AI

发布日期: 2026-10-06

💡 一句话要点

提出基于儿童作文的抑郁症预测模型，超越传统方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抑郁症预测 儿童心理健康 自然语言处理 逻辑回归 长时间预测 模型评估 协变量分析

📋 核心要点

  1. 现有的NLP模型在短期内能够检测抑郁症状，但缺乏对长期文本的预测能力。
  2. 本文提出通过逻辑回归结合儿童时期的六个协变量，进行长时间跨度的抑郁症预测。
  3. 实验结果表明，基线模型在AUC-ROC上显著优于多种文本模型，展示了其有效性。

📝 摘要（中文）

自然语言处理（NLP）模型能够检测与抑郁相关的语言，但尚未测试预训练的变换器是否能从12年前的文本中预测抑郁症状。本文利用英国国家儿童发展研究中的数据，预测23岁时的抑郁症状，基于11岁时的作文。结果显示，基于六个儿童协变量的逻辑回归模型在AUC-ROC上达到0.737，优于所有仅使用作文的文本模型，最佳变换器的AUC-ROC为0.670，且没有任何文本评分显著提高基线模型的表现。五个领域预训练的变换器在Bonferroni校正后未能超越通用领域控制模型。对于长时间预测，基线模型仍然是最优选择。

🔬 方法详解

问题定义：本文旨在解决如何从儿童时期的作文中预测成年后的抑郁症状。现有方法主要集中在短期文本分析，缺乏对长时间跨度的有效预测能力。

核心思路：论文提出结合儿童时期的六个协变量与逻辑回归模型，进行长时间跨度的抑郁症状预测，强调了传统文本模型在此任务中的局限性。

技术框架：整体架构包括数据收集、特征提取、模型训练与评估。首先从国家儿童发展研究中提取数据，然后使用逻辑回归模型进行训练，最后通过AUC-ROC评估模型性能。

关键创新：最重要的创新在于通过逻辑回归结合儿童协变量，超越了基于文本的深度学习模型，展示了在长时间预测中的有效性。

关键设计：模型使用六个儿童协变量作为输入，采用逻辑回归的损失函数进行训练，确保模型的可解释性与稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，基于六个儿童协变量的逻辑回归模型在AUC-ROC上达到0.737，显著优于最佳变换器的0.670，且没有任何文本模型在Bonferroni校正后超越基线模型，证明了其在长时间预测中的优势。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、教育评估和社会服务。通过早期识别抑郁症状，能够为儿童提供及时的心理干预，改善其未来的心理健康状况，具有重要的社会价值和影响力。

📄 摘要（原文）

Natural language processing (NLP) models can detect depression-related language in text written near the time symptoms are measured, but whether pretrained transformers can predict depressive symptoms from text written twelve years earlier is largely untested. In the National Child Development Study, a British birth cohort, we predict probable depressive symptoms at age 23 from essays the same people wrote at age 11. Our baseline, a logistic regression on six childhood covariates, outperforms every text model that sees only the essay: seven fine-tuned transformers, a bag-of-words model, frozen embeddings and four zero-shot large language models. Its area under the receiver operating characteristic curve (AUC-ROC) is 0.737 against 0.670 for the best transformer on the primary seed, and no added text score detectably raises the baseline's AUC-ROC. None of the five domain-pretrained transformers detectably beats its general-domain control after Bonferroni correction. For long-horizon prediction, the baseline remains the model to beat.