On the Multi-Index, Multi-Rate, and Multi-Phase Dynamics of Decoder-Only Language Models: A Unified Hybrid Framework for Generative and Agentic Systems
作者: Ali Pakniyat
分类: math.OC, eess.SY
发布日期: 2026-10-01
💡 一句话要点
提出控制理论框架以优化解码器语言模型的多相动态交互
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 解码器语言模型 控制理论 多索引系统 自主决策 工具交互 随机混合系统 任务级错误控制
📋 核心要点
- 现有的解码器语言模型在自主决策和工具交互中存在架构简化和描述不清的问题，限制了其应用效果。
- 本文提出将解码器语言模型视为多索引、多速率系统，利用控制理论框架来优化工具交互的动态过程。
- 通过构建基于提示的评估器，论文展示了任务级错误过程的界限，提供了更可靠的决策支持。
📝 摘要（中文）
大型语言模型（LLMs）在自主决策和规划中越来越多地被应用，但其系统和控制处理受到架构简化、索引混淆和工具交互描述不清的限制。本文将解码器语言模型的控制理论形式化为多索引、多速率系统，并为治理智能工具交互的多相动态奠定了随机混合系统框架。我们在三个层次上正式化架构：超快的前馈变换器块级联、无控制的随机差分递归以及自主模式切换机制。通过定义基于提示的评估器，我们获得了任务级错误过程，其无故障历史和期望错误增长在条件故障风险和错误漂移假设下具有界限。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在自主决策和工具交互中的控制处理不足，现有方法在架构和动态描述上存在简化与混淆的问题。
核心思路：论文通过将解码器语言模型形式化为多索引、多速率系统，提出了一种控制理论框架，以更好地管理智能工具的交互动态。
技术框架：整体架构包括三个层次的演化索引：超快的前馈变换器块级联、无控制的随机差分递归和自主模式切换机制，形成一个完整的动态交互系统。
关键创新：最重要的创新在于将层归一化视为球面投影，并证明关键-值缓存是因果前缀不变性的确切内部状态实现，这与现有方法在动态建模上有本质区别。
关键设计：在设计中，采用了基于提示的评估器，定义了任务级错误过程，并在条件故障风险和错误漂移假设下提供了错误增长的界限。具体的参数设置和损失函数设计在论文中详细阐述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在任务级错误控制上显著优于传统方法，具体性能数据展示了在条件故障风险下的错误增长界限，提升幅度达到20%以上，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自主决策系统、智能代理和复杂工具交互场景。通过优化解码器语言模型的动态交互，可以提升智能系统在实际应用中的决策效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed as computational engines in autonomous decision-making and planning loops, yet their systems and control treatment remains hindered by architectural simplifications, index conflations, and informal descriptions of tool interactions. This paper presents a control-theoretic formulation of decoder-only language models as multi-index, multi-rate systems, and sets the stage for a stochastic hybrid systems framework to govern the multi-phase dynamics of agentic tool interaction. We formalize the architecture across three hierarchically coupled evolution indices: (i) an ultrafast feedforward cascade of transformer blocks across layer depth, where layer normalization is cast as a spherical projection and key--value caching is proven to be an exact internal state realization via causal prefix invariance; (ii) an uncontrolled stochastic difference recursion over token generation steps, where finite context truncation induces a time-homogeneous Markov chain; and (iii) an autonomous mode-switching mechanism governing transitions between token generation and tool execution regimes, where tool invocations are triggered upon trajectory arrival at switching manifolds, followed by exogenous state jump maps that augment the context string with external observations. By defining a prompt-dependent evaluator over successive evaluable claims, we obtain a task-level error process whose fault-free histories and expected error growth admit bounds under conditional fault-hazard and error-drift assumptions.