Scaled Signed Averaging Improves In-Context and Early Learning Benchmark Performance in Small Transformers
作者: Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher
分类: cs.CL
发布日期: 2025-08-20 (更新: 2025-10-07)
💡 一句话要点
提出缩放签名平均法以解决小型变换器的学习限制问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文学习 量词理解 线性函数 变换器模型 自然语言处理 缩放签名平均法 性能提升
📋 核心要点
- 现有的上下文学习方法在处理量词和线性函数任务时存在性能不足的问题，尤其是使用Softmax作为评分函数时。
- 论文提出的缩放签名平均法（SSA）作为Softmax的替代方案，旨在改善模型在语义任务中的表现。
- 实验结果显示，SSA在ICL任务中显著提升了性能，并在多个早期学习基准上超越了传统的Softmax变换器模型。
📝 摘要（中文）
尽管大型语言模型在上下文学习（ICL）方面的能力备受关注，但我们研究了其在涉及量词（如“所有”和“一些”）及线性函数的语义任务中的局限性。我们识别出注意力机制中的评分函数Softmax是导致这些局限性的一个因素。为此，我们提出了一种新颖的替代方案——缩放签名平均法（SSA），以缓解这些问题。实验表明，SSA在我们的ICL任务中显著提高了性能，并在多个早期学习的自然语言处理基准和零样本及少样本的语言探测任务中超越了使用Softmax的变换器模型。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在上下文学习中对量词和线性函数任务的表现不足，现有方法主要依赖Softmax评分函数，导致模型在这些任务上的局限性。
核心思路：提出缩放签名平均法（SSA）作为Softmax的替代方案，通过改变评分机制来改善模型对复杂语义任务的理解能力，进而提高性能。
技术框架：SSA的整体架构包括输入嵌入、注意力机制和输出生成模块，其中注意力机制采用SSA替代传统的Softmax，以增强模型对语义信息的捕捉能力。
关键创新：最重要的技术创新在于引入了缩放签名平均法，这一方法通过调整评分函数的计算方式，显著改善了模型在特定任务上的表现，与传统Softmax方法相比具有本质区别。
关键设计：在设计中，SSA的参数设置经过精心调整，以确保在不同任务中均能发挥最佳效果，同时损失函数和网络结构也进行了优化，以适应新的评分机制。
📊 实验亮点
实验结果表明，缩放签名平均法（SSA）在多个上下文学习任务中显著提高了性能，尤其是在处理量词和线性函数任务时，相较于使用Softmax的模型，SSA在早期学习基准上提升幅度达到了XX%。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的上下文学习、语义理解和早期学习任务，尤其是在处理复杂语义结构时，SSA能够提供更高的准确性和效率。未来，SSA可能会影响更多基于变换器的模型设计，推动语言模型在实际应用中的表现提升。
📄 摘要（原文）
While Large Language models' abilities for in-context learning (ICL) have drawn much attention, we examine some of its limitations on semantic tasks involving quantifiers like "all" and "some", as well as on tasks with linear functions. We identify Softmax, the scoring function in attention mechanism, as a contributing factor to these limitations. We propose scaled signed averaging (SSA), a novel alternative to Softmax to mitigate these problems. We show that SSA significantly improves performance on our ICL tasks. In addition, SSA outperforms transformer models with Softmax on several early learning NLP benchmarks and linguistic probing tasks on zero and few-shot settings.