Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

📄 arXiv: 2607.08186v1 📥 PDF

作者: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

分类: cs.CL

发布日期: 2026-07-09

备注: 30 pages, 9 figures

💡 一句话要点

提出隐式解码方法以解决大语言模型计算扩展问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 隐式解码 序列长度扩展 Transformer 流因子化注意力 继续预训练 计算效率 模型训练

📋 核心要点

  1. 现有的大语言模型扩展方法主要通过增大Transformer骨干，但这需要昂贵的预训练，效率低下。
  2. 本文提出隐式解码，通过在继续预训练中扩展序列长度，增加每个token的计算能力，而不改变Transformer结构。
  3. 实验表明，使用隐式解码的WeLM-HD4-80B和WeLM-HD4-617B模型在性能上超越了非HD基线，展示了该方法的有效性。

📝 摘要（中文）

大规模语言模型（LLMs）的扩展主要依赖于增大Transformer骨干网络，但对于已强大的模型，这需要再次进行昂贵的预训练。本文研究了在保持Transformer骨干不变的情况下，是否可以通过为每个token分配更多计算来持续改进现有模型。我们提出了隐式解码，这是一种在继续预训练过程中应用的序列长度扩展方法。该方法将每个token扩展为n个流，并保持中间流的键值缓存作为上下文，从而使每个token在不增加或扩展Transformer层的情况下执行更多内部计算。为了在大规模下保持可承受性，我们引入了流因子化注意力，大部分层仅在每个流内进行注意力计算，只有少数层跨流混合，从而将注意力成本从平方级降低到大约线性级。实验结果表明，隐式解码在100B+ MoE规模下首次展示了序列长度扩展的可行性。

🔬 方法详解

问题定义：本文旨在解决大语言模型在扩展时的计算效率问题，现有方法需要昂贵的预训练，限制了模型的进一步提升。

核心思路：提出隐式解码，通过在继续预训练过程中扩展序列长度，增加每个token的计算能力，避免了对Transformer骨干的修改。

技术框架：整体架构包括将每个token扩展为n个流，使用独立的嵌入表，并保持中间流的键值缓存。流因子化注意力机制使得大部分层仅在流内计算，少数层跨流混合。

关键创新：隐式解码是首个在100B+ MoE规模下实现的序列长度扩展方法，显著提高了计算效率，突破了传统方法的限制。

关键设计：在流因子化注意力中，大部分层的注意力计算仅限于各自流内，减少了计算复杂度，且通过合理的参数设置和流的设计，确保了模型性能的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WeLM-HD4-80B和WeLM-HD4-617B模型在n=4的情况下，性能超越了相应的非HD基线，证明隐式解码在大规模模型训练中的有效性和可行性，标志着序列长度扩展的成功应用。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高大语言模型的计算效率，隐式解码方法能够支持更大规模的模型训练，推动智能应用的发展，提升用户体验。

📄 摘要（原文）

Scaling Large Language Models (LLMs) has been driven mainly by enlarging the Transformer backbone, but for an already-strong model this requires another round of costly pretraining. We study whether an existing backbone can keep improving by allocating more computation to each token while leaving the Transformer backbone fixed. Depth-recurrent (looped) Transformers pursue this goal but are hard to scale, because looped computation does not fit naturally with the pipeline parallelism used to train the largest models. We add computation along the sequence-length dimension, where the extra computation is simply a longer input and stays compatible with standard large-model training. We propose Hidden Decoding, a sequence-length scaling method applied during continued pretraining (CPT). It expands each token into n streams with independent embedding tables and keeps the intermediate streams' key-value cache as context, so each token performs more internal computation without adding or widening Transformer layers. To keep this affordable at scale, we introduce Stream-Factorized Attention, in which most layers attend only within each stream and only a few layers mix across streams, reducing the attention cost from quadratic to roughly linear in n. Experiments support two scaling results. At frontier scale, we train WeLM-HD4-80B and WeLM-HD4-617B at n=4 and improve their matched non-HD baselines, making Hidden Decoding the first demonstrated sequence-length scaling method at the 100B+ MoE scale. Across expansion factors, the gains grow as n increases, showing that sequence-length expansion is a practical fixed-backbone scaling path for frontier-scale LLMs.