Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models
作者: Qince Luan, Jianhui Xu, Yang Xu
分类: cs.CL, cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出谱平滑与尖峰扰动以重构大语言模型能力特征
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 奇异值谱 变换器模型 谱平滑 尖峰扰动 能力组织 自然语言处理 模型评估
📋 核心要点
- 现有研究对奇异值谱在变换器模型中的作用探讨不足，尤其是其对下游任务的影响尚未深入理解。
- 论文提出通过谱平滑和尖峰干预对模型的上投影和下投影矩阵进行调整，以探讨模型能力的组织结构。
- 实验结果显示，正向扰动抑制语言和推理能力，而适度负向扰动则可能提升某些任务性能，表明模型对扰动的敏感性具有结构性。
📝 摘要（中文）
本研究探讨了奇异值谱在变换器前馈投影中的重要结构及其对下游行为的因果作用。通过对上投影和下投影矩阵进行后处理的谱平滑和尖峰干预，研究发现正向扰动会拉伸几何均值的偏差，使得大奇异值增大而小奇异值减小，反之亦然。通过对五个开放的Llama和Qwen指令模型进行评估，研究表明大正向扰动更可靠地抑制语言和推理响应，而适度的负向扰动有时能改善事实或任务局部性能。这些结果表明谱扰动是一种轻量级的干预方法，有助于探讨大语言模型中能力的组织与权衡。
🔬 方法详解
问题定义：本研究旨在探讨奇异值谱在变换器模型中的作用，尤其是其对下游任务性能的影响。现有方法未能充分揭示奇异值谱的因果关系及其对模型能力的影响。
核心思路：通过对上投影和下投影矩阵进行谱平滑和尖峰干预，研究如何通过调整奇异值的分布来影响模型的能力表现。这种设计旨在揭示模型能力的组织结构及其相互权衡关系。
技术框架：研究首先对模型的奇异值谱进行分析，然后实施正向和负向的扰动干预，最后通过评估模型在不同任务上的表现来分析干预效果。主要模块包括谱分析、扰动实施和性能评估。
关键创新：本研究的创新点在于提出了一种轻量级的谱扰动方法，能够有效探测大语言模型能力的组织结构，与传统方法相比，能够更灵活地调整模型的能力表现。
关键设计：在实验中，采用了特定的扰动幅度和方向，确保了奇异向量和奇异值几何均值的保持，设计了多维能力基础以更好地解释模型的响应变化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，大正向扰动能显著抑制语言和推理能力，而适度负向扰动在某些情况下能提升任务性能。不同模型家族和基准模块对扰动的敏感性差异显著，表明模型能力的组织具有结构性而非随机性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能对话系统和教育技术等。通过理解和调整大语言模型的能力结构，可以提升模型在特定任务上的表现，进而推动智能系统的智能化和个性化发展。
📄 摘要（原文）
Singular-value spectra encode important structure in transformer feed-forward projections, yet their causal role in downstream behavior remains underexplored. We study post-hoc spectral smoothing and spiking interventions on the up_proj and down_proj matrices. Positive perturbation stretches deviations from the geometric mean, making large singular values larger and small ones smaller (spiking), and vice versa. The intervention preserves singular vectors and the geometric mean of the singular values. Across five open Llama and Qwen instruction models, we evaluate the perturbed systems on capability-labeled subtasks, standard and chain-of-thought reasoning benchmarks, judge-scored truthfulness, hallucination, and safety tasks, and TRAIT personality probes. To interpret score shifts, we fit responses in a three-dimensional capability basis consisting of factual knowledge, language understanding, and deductive reasoning. The induced changes suggest structured rather than purely random sensitivity: large positive perturbations more reliably suppress language and deductive responses, moderate negative perturbations can sometimes improve factual or task-local performance on the evaluated grids, and sensitivity varies strongly by model family, benchmark module, and underlying layerwise spectral inequality. These results position spectral perturbation as a lightweight intervention for probing how capabilities are organized and traded off in large language models.