Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning
作者: Dunyao Xue, Chengshuo Du, Zhengbo Wang, Wenlin Dai, Cheng Meng
分类: cs.AI, cs.LG
发布日期: 2026-09-16
备注: Accepted to EMNLP 2026 Main Conference
💡 一句话要点
提出Mahalanobis-Ensemble解码以优化LLM候选令牌选择
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 解码优化 集成修剪 语义多样性 贪婪选择算法 自然语言处理 机器学习
📋 核心要点
- 现有的LLM解码方法主要依赖标量概率，忽视了候选令牌之间的几何语义关系，导致冗余和低效。
- 论文提出了Mahalanobis-Ensemble解码框架，通过Mahalanobis距离优化候选令牌选择，增强语义多样性。
- 实验结果显示，ME-Decoding在多种任务中表现出色，具有显著的性能提升和较低的推理开销。
📝 摘要（中文）
本文介绍了一种新颖的LLM解码框架——Mahalanobis-Ensemble解码（ME-Decoding），将候选令牌选择视为集成修剪。现有选择策略主要依赖标量概率，忽视几何语义关系，导致候选冗余。同时，现有的几何感知方法通常需要复杂的优化或直接重新加权原始令牌概率，造成显著的计算开销或推理不稳定。为了解决这些问题，本文将解码形式化为一个子集优化问题，采用基于Mahalanobis距离的目标函数，以增强语义多样性并保持高概率。具体而言，我们通过自适应带宽核构建的令牌相似度矩阵动态折扣冗余生成路径，并设计了一种高效的贪婪选择算法，在候选大小下具有近线性复杂度，同时建立了理论近似保证。大量实验表明，该方法在多种推理和生成任务中表现优异。
🔬 方法详解
问题定义：本文旨在解决现有LLM解码方法在候选令牌选择中存在的冗余和低效问题，现有方法主要依赖标量概率，忽视了候选之间的几何语义关系，导致选择的候选令牌冗余。
核心思路：论文提出将解码视为一个子集优化问题，采用基于Mahalanobis距离的目标函数，以增强语义多样性并保持高概率。通过动态折扣冗余生成路径，优化候选令牌的选择。
技术框架：ME-Decoding的整体架构包括构建令牌相似度矩阵、动态折扣冗余路径以及高效的贪婪选择算法。首先，通过自适应带宽核计算令牌嵌入的相似度，然后利用贪婪算法进行候选选择。
关键创新：最重要的创新在于将候选令牌选择问题转化为基于Mahalanobis距离的优化问题，显著提高了选择的语义多样性，并且与现有方法相比，减少了计算开销和推理不稳定性。
关键设计：在设计中，采用自适应带宽核来构建令牌相似度矩阵，并设计了一种贪婪选择算法，确保在候选大小下具有近线性复杂度，同时提供理论近似保证。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ME-Decoding在多种推理和生成任务中均表现出色，相较于基线方法，性能提升显著，具体提升幅度达到X%（具体数据待补充），且推理开销几乎可以忽略不计。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和机器翻译等。通过优化候选令牌选择，ME-Decoding能够提高生成文本的质量和多样性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We introduce Mahalanobis-Ensemble Decoding (ME-Decoding), a novel Large Language Model (LLM) decoding framework that frames candidate token selection as ensemble pruning. Existing selection strategies rely predominantly on scalar probabilities, ignoring geometric semantic relationships and causing candidate redundancy. Meanwhile, current geometry-aware methods often require complex optimization or directly reweighting the original token probabilities, leading to significant computational overhead or inference instability. To address this, we formulate decoding as a subset optimization problem using a Mahalanobis distance-driven objective to enhance semantic diversity while preserving high probabilities. Specifically, we dynamically discount redundant generation paths using a token similarity matrix, constructed via an adaptive-bandwidth kernel over token embeddings. We further devise an efficient greedy selection algorithm with near-linear complexity in the candidate size under early stopping, while establishing its theoretical approximation guarantees. This renders ME-Decoding a robust, plug-and-play module with negligible inference overhead. Extensive experiments across diverse reasoning and generation tasks demonstrate that our method consistently achieves strong performance.