Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

📄 arXiv: 2610.26802v1 📥 PDF

作者: Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, Andrew Chen, Nikolaus Kriegeskorte, Pony Ma, Hossein Adeli

分类: cs.LG

发布日期: 2026-10-19

备注: 38 pages, 13 figures, 20 tables. Code available at https://github.com/zfying/brain-lora

💡 一句话要点

提出参数高效微调方法以优化脑编码模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑编码 参数高效微调 多模态融合 低秩适配器 神经科学 认知心理学 机器学习

📋 核心要点

  1. 现有脑编码模型在使用神经数据训练大型模型时面临高成本和数据有限的问题。
  2. 论文提出参数高效微调（PEFT）方法，通过少量可训练参数有效适应大型预训练骨干网络。
  3. 在Algonauts 2025挑战赛中，使用BrainLoRA方法取得了最佳性能，展示了该方法的有效性。

📝 摘要（中文）

脑编码模型旨在预测神经对刺激的反应。现有方法通常依赖于冻结的预训练骨干网络进行适配，但从头训练或完全微调大型模型面临数据成本高和数据量有限的挑战。本文展示了参数高效微调（PEFT）如何有效适应大型预训练骨干网络，仅需少量可训练参数。通过利用骨干网络的因果结构，本文在一次传递中预测多个时间点，显著降低特征提取成本。我们的方法在九个多模态骨干网络上均表现出色，并在Algonauts 2025挑战赛中取得最佳成绩。我们还开发了多LoRA内核，加速多个LoRA的联合训练，最终在挑战赛排行榜上名列前茅。

🔬 方法详解

问题定义：本文旨在解决现有脑编码模型在使用神经数据训练大型模型时面临的高成本和数据有限的问题。现有方法通常依赖于冻结的预训练骨干网络，难以进行有效的微调。

核心思路：论文提出的核心思路是利用参数高效微调（PEFT）技术，通过少量可训练参数来适应大型预训练骨干网络，从而降低训练成本并提高性能。

技术框架：整体架构包括使用低秩适配器（LoRA）和轻量级读出模块，利用骨干网络的因果结构在一次传递中预测多个时间点，避免了滑动窗口的计算开销。

关键创新：最重要的技术创新是提出了多LoRA内核，能够加速多个LoRA在共享骨干网络上的联合训练，从而实现200多个适配模型的高效训练。与现有方法相比，该方法在参数使用上更为高效，且性能显著提升。

关键设计：在参数设置上，采用低秩适配器（LoRA）进行微调，损失函数设计为适应多模态数据的特征提取，网络结构则基于大型预训练骨干网络进行改进，以支持多时间点的预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Algonauts 2025挑战赛中，使用BrainLoRA方法在与之前的最先进技术相同的Qwen3-Omni骨干网络上，取得了最佳的发布性能。此外，适配的多模态骨干网络在解释性方面保持良好，显示出音频输入和跨模态混合的贡献显著增加。

🎯 应用场景

该研究的潜在应用领域包括神经科学、认知心理学以及人机交互等。通过优化脑编码模型，可以更好地理解人类感知和认知过程，推动相关领域的研究进展。未来，该方法有望在脑机接口和智能医疗等实际应用中发挥重要作用。

📄 摘要（原文）

Brain encoding models aim to predict neural responses to stimuli. The most widely used approach fits readouts from frozen pretrained backbones. Using neural data to train large models from scratch or fully fine-tune them after task-pretraining has proven difficult because neural data is costly and limited. We show that parameter-efficient fine-tuning (PEFT) enables us to effectively adapt very large pretrained backbones for brain encoding with a small number of trainable parameters. To make it computationally practical, we exploit the backbone's causal structure to predict multiple timepoints in a single pass instead of using sliding windows, significantly reducing feature-extraction cost. This enables efficient fine-tuning of multimodal backbones with up to 104B parameters, the largest model adapted for brain encoding to our knowledge. Trained with a low-rank adapter (LoRA) and a lightweight readout, our approach consistently improves brain encoding performance across nine diverse multimodal backbones. On the same Qwen3-Omni backbone as the prior state-of-the-art (SoTA), our method BrainLoRA achieves the best published performance on the Algonauts 2025 Challenge. We also show the adapted multimodal backbones remain interpretable: modality attribution recovers the canonical sensory topography that prior work often obtains by construction from separate unimodal encoders, and neural adaptation increases the contribution of audio inputs and cross-modal mixing within the backbone. To scale out the number of adapted models, we develop a multi-LoRA kernel that accelerates joint training of multiple LoRAs on a shared backbone. This enables an ensemble of 200+ adapted models that ranks first on the public Algonauts post-challenge leaderboard at the time of writing. Together, our results highlight PEFT as an efficient and powerful paradigm for brain encoding.