In-Context Binding Capacity in Language Models
作者: Manas Venkata Sai Ravulapalli, Samrath Singh Chadha
分类: cs.LG
发布日期: 2026-09-24
💡 一句话要点
提出语言模型的上下文绑定能力测量方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 上下文绑定 记忆能力 干扰分析 模型评估 参数规模 任务训练
📋 核心要点
- 核心问题：现有语言模型在处理多重实体绑定时，容易出现记忆混淆，导致回忆能力下降。
- 方法要点：通过连续回忆曲线和阈值扫描，系统性地测量模型的绑定能力及其影响因素。
- 实验或效果：研究发现模型的回忆能力与参数规模呈幂律关系，且干扰因素显著影响单一绑定的回忆表现。
📝 摘要（中文）
本文探讨了语言模型在记忆实体与其对应值时的能力极限。通过对12个参数不超过3B的模型进行连续回忆曲线测量，以及对30个开放模型（最高12B参数）进行阈值扫描，发现回忆能力的负载与模型参数呈现特定的幂律关系。研究表明，干扰会降低单一绑定的回忆能力，尽管负载依赖的回忆曲线未发生显著变化。此外，直接任务训练的表现超出了零-shot法则的预测，但不同的测量标准使得这一比较无法解读为能力提升。本文的结果为理解模型的查询接口能力提供了重要依据。
🔬 方法详解
问题定义：本文旨在解决语言模型在多重实体绑定时的记忆混淆问题，现有方法未能有效量化模型的绑定能力及其限制。
核心思路：通过构建连续回忆曲线和进行阈值扫描，系统性地评估不同模型在绑定任务中的表现，揭示影响回忆能力的关键因素。
技术框架：研究分为两个主要部分：首先，使用连续回忆曲线测量模型在不同负载下的回忆能力；其次，进行阈值扫描以评估更大范围内的模型表现。
关键创新：提出了通过干扰分析来解释回忆能力下降的机制，强调了单一绑定回忆与负载依赖回忆曲线之间的关系，这在现有文献中尚未被充分探讨。
关键设计：实验中采用了多种参数设置和模型架构，重点关注模型的预训练策略对回忆能力的影响，并通过控制变量确保结果的可靠性。实验还考虑了成功运行的条件下形成时间的幂律分布。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型的回忆能力与参数规模呈现幂律关系，$K_{50}=cN^{0.820}$，$R^2=0.73$。此外，干扰因素显著降低了单一绑定的回忆能力，直接任务训练的表现超出了零-shot法则的预测，提供了新的视角来理解模型的能力极限。
🎯 应用场景
该研究为语言模型在复杂任务中的应用提供了理论基础，尤其是在需要处理多重实体和状态跟踪的场景中，如对话系统、信息检索和智能助手等。未来，研究结果有望推动更高效的模型设计和训练策略，以提升模型的实际应用能力。
📄 摘要（原文）
How many assignments can a language model recall before it loses track of which value belongs to which entity? We measure this limit using continuous recall curves for 12 models at or below 3B parameters and a threshold sweep over 30 open models up to 12B. On the continuous curves, the load at which recall falls halfway to chance follows $K_{50}=cN^α$, with $α=0.820$ and $R^2=0.73$. The broader sweep shows an eightfold range associated with pretraining recipe, although the continuous curves show no detectable recipe effect after controlling for scale, with few modern models in the fit. We derive why interference can lower measured capacity by reducing single-binding recall even when the load-dependent recall profile is unchanged. Direct task training also exceeds the extrapolated zero-shot law, but different measurement criteria prevent interpreting that comparison as a capacity gain. Its formation times follow a power-law form in two independent codebases, conditional on runs that succeed. Together, these results characterize capacity at the model's query interface. Bounds on joint recall and a decomposition of policy errors connect this measurement to working memory and instruction following, without treating recall as a measure of alignment. The controlled task also provides a baseline for testing whether binding limits constrain world-state tracking; the present experiments do not measure state updates or downstream transfer.