Where a Model Sends Its Own Repeated Token
作者: Nicolás Vera Zúñiga
分类: cs.CL
发布日期: 2026-09-25
备注: 8 pages, 3 tables. Companion to arXiv:2608.10986, arXiv:2608.21315 and arXiv:2609.29507. Code, per-run results, pre-registrations and the findings ledger: https://github.com/nicoveraz/token-lattice-ca (archived: https://doi.org/10.5281/zenodo.21880472)
💡 一句话要点
提出模型自我重复标记的识别方法以探究失败模式
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 黑箱模型识别 自然语言处理 模型鲁棒性 固定点分析 机器学习可解释性
📋 核心要点
- 现有的黑箱模型识别方法主要依赖于模型对重复自身标记的响应，难以全面了解模型的行为和潜在失败模式。
- 本文提出了一种新的方法，通过分析模型在不重复自身标记时的输出，构建了一个词汇映射，揭示了固定点和非固定点标记的去向。
- 实验结果显示，模型在不同条件下的鲁棒性差异明显，且通过对比不同模型的表现，验证了家庭属性对一致性的预测能力优于标记器。
📝 摘要（中文）
黑箱模型识别通过对自然语言提示的模型响应进行评分来实现。现有方法使用重复的自身标记作为输入，以寻找失败模式而非身份。本文探讨了模型在不重复自身标记时的行为。通过对每个标记t进行argmax p(. | t, t)的计算，生成了一个包含两个部分的词汇映射。第一部分是固定点的标记，部分符合预期，报告为失败的估计量；第二部分则记录了非固定点标记的去向，尚未被充分记录。实验结果表明，模型的鲁棒性受多种因素影响，且不同模型的精度底线差异显著。
🔬 方法详解
问题定义：本文旨在解决现有黑箱模型识别方法的不足，特别是通过重复自身标记来寻找失败模式的局限性。现有方法未能充分揭示模型在非重复输入情况下的行为。
核心思路：论文的核心思路是利用模型对自身标记的响应，分析其在不重复自身标记时的输出，构建一个包含固定点和非固定点的词汇映射，以此探讨模型的潜在失败模式。
技术框架：整体架构包括输入处理、模型推理和输出分析三个主要模块。首先，输入为模型的自身标记，接着通过argmax计算模型的输出，最后分析输出结果以构建词汇映射。
关键创新：本文的主要创新在于通过分析模型在非固定点标记的去向，揭示了模型行为的新维度，提供了对模型性能的更深入理解，与传统方法的本质区别在于关注非重复输入的响应。
关键设计：在实验中，设置了多个参数以评估模型的鲁棒性，包括8位和4位权重的舍入、训练语料的去重等，损失函数和网络结构的设计也经过精心调整，以确保实验结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在不同条件下的鲁棒性差异显著，8位权重舍入的映射变化小于去重训练语料的影响（0.9004对比0.6353），而4位舍入则显著降低了模型性能（0.0098）。家庭属性对一致性的预测能力优于标记器，表现出更强的聚类能力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器学习模型的可解释性和鲁棒性分析。通过深入理解模型的行为，可以在实际应用中提高模型的可靠性和安全性，尤其是在关键任务场景下，如自动驾驶、医疗诊断等。未来，该方法可能为模型的优化和改进提供新的思路。
📄 摘要（原文）
Black-box model identification works by scoring a model's response to natural-language prompts. One line of work feeds models a degenerate input -- their own token, repeated -- to find a failure mode rather than an identity. We take that input and ask where the model goes when it does not. For each token t, read argmax p(. | t, t) in one forward pass; the result is a map on the whole vocabulary, with two halves. The first -- which tokens are fixed points -- is partially anticipated, and we report it as a failed estimand: the natural distance on it is 83% cardinality, separates a corpus manipulation by two bits in 3471 against a precision floor of zero, and attributes families at 0.5833. The second half, where the map sends tokens that are not fixed points, is unrecorded; the one paper holding those tokens logged them as a zero. Pairing on the source token removes the cardinality confound by construction (r from 0.9128 to -0.0932) and attributes families at 0.8333 -- twelve models scored against a pool of nineteen -- with chance 0.1389, across seven tokenizer groups and several corpora. Two nulls clear it: frequency-matched destinations agree at 0.1429, independent marginals at 0.0798. Family predicts agreement better than tokenizer (0.2031 against 0.1205), and recurrent architectures cluster at balanced accuracy 1.0 against a 0.7895 majority rate, or 0.90 once each model's dominant destination is excluded -- the figure we stand behind. We measure the robustness envelope: 8-bit weight rounding moves the map less than deduplicating the training corpus does (0.9004 against 0.6353, on one support), 4-bit destroys it (0.0098; 0.1812 at deployment granularity, so not a coarseness artefact), and the precision floor varies by model from 0.201 to 0.9778. All estimands and kill conditions were registered before the data, and the failed one is reported as fully as the surviving one.