RATIO: Reasoning Analysis and Token-level Inference Optimization for Quantized Reasoning Models

📄 arXiv: 2609.39801v1 📥 PDF

作者: Chengzhu Bao, Xianglong Yan, Tianao Zhang, Jiaqi Chen, Shaoqiu Zhang, Yulun Zhang

分类: cs.LG

发布日期: 2026-09-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出RATIO框架以优化量化推理模型的推理性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 推理优化 量化模型 过度思考 模型分析 深度学习 语言模型

📋 核心要点

  1. 现有的后训练量化方法在推理模型中导致性能下降和过度思考现象，影响推理效率。
  2. RATIO框架通过量化感知推理行为分析识别过度思考令牌，并为其分配特定惩罚，从而优化推理过程。
  3. 实验结果显示，RATIO在准确性上提升了9.8个百分点，并将推理链长度减少了51.3%，优于量化基线。

📝 摘要（中文）

后训练量化（PTQ）已成为减少大型语言模型（LLMs）内存占用和推理成本的广泛采用技术。然而，近期研究表明，PTQ在推理模型上的应用不仅降低了推理性能，还加剧了过度思考，导致更长的推理轨迹。这些问题可能抵消了低精度推理所带来的效率提升。现有方法主要依赖复杂的优化过程，而最近的轻量级推理策略则使用预定义的过度思考标记，限制了其在量化模型中的适应性。为了解决这些问题，本文提出了推理分析与令牌级推理优化（RATIO）框架，该框架识别模型特定的过度思考令牌，并为每个令牌分配量身定制的惩罚。RATIO首先引入量化感知推理行为分析（QRBA），通过分析全精度与量化模型之间的差异来识别过度思考令牌。然后采用令牌特定惩罚确定（TSPD），利用全精度指导推导令牌特定惩罚，而无需额外训练。大量实验表明，RATIO在准确性和效率的权衡上优于现有的令牌级干预。

🔬 方法详解

问题定义：本文旨在解决后训练量化（PTQ）在推理模型中导致的性能下降和过度思考问题。现有方法往往依赖复杂的优化过程，难以适应不同的量化模型。

核心思路：RATIO框架通过识别模型特定的过度思考令牌，并为其分配量身定制的惩罚，来优化推理性能。该方法结合了量化感知推理行为分析和令牌特定惩罚确定，避免了额外训练的需求。

技术框架：RATIO的整体架构包括两个主要模块：量化感知推理行为分析（QRBA）和令牌特定惩罚确定（TSPD）。QRBA负责识别过度思考令牌，而TSPD则根据全精度模型的指导为每个令牌计算特定惩罚。

关键创新：RATIO的核心创新在于通过量化感知分析识别过度思考令牌，并利用全精度模型的指导进行惩罚计算。这一方法与现有依赖复杂优化的策略本质上不同，具有更高的适应性和效率。

关键设计：在RATIO中，QRBA通过比较全精度与量化模型的推理结果来识别过度思考令牌，而TSPD则通过全精度模型的输出确定每个令牌的惩罚值，避免了额外的训练步骤。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RATIO框架在准确性上提升了9.8个百分点，并将推理链长度减少了51.3%，相较于量化基线表现出显著的优势。这些结果表明RATIO在准确性与效率之间取得了更好的平衡。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的推理优化，特别是在资源受限的环境中，如移动设备和边缘计算。通过提高推理效率和准确性，RATIO框架可以在实际应用中显著提升用户体验，推动智能助手、对话系统等技术的发展。

📄 摘要（原文）

Post-training quantization (PTQ) has become a widely adopted technique for reducing the memory footprint and inference cost of large language models (LLMs). However, recent studies reveal that when applied to reasoning models, PTQ not only degrades reasoning performance but also exacerbates overthinking, leading to longer reasoning trajectories. These issues may offset the efficiency gains expected from lower-precision inference. Existing approaches mainly rely on complex optimization procedures. More recent lightweight inference strategies instead use predefined overthinking markers, limiting their adaptability across quantized models. To address these issues, we propose Reasoning Analysis and Token-level Inference Optimization (RATIO), a framework that identifies model-specific overthinking tokens and assigns each a tailored penalty. RATIO first introduces Quantization-aware Reasoning Behavior Analysis (QRBA) to identify overthinking tokens by analyzing discrepancies between full-precision and quantized models. It then adopts Token-Specific Penalty Determination (TSPD), which leverages full-precision guidance to derive token-specific penalties without additional training. Extensive experiments show that RATIO achieves a better accuracy-efficiency trade-off than existing token-level interventions. Specifically, RATIO achieves up to 9.8 points accuracy improvement and reduces chain-of-thought (CoT) length by up to 51.3% compared with quantized baselines. The code will be available at https://github.com/steven-bao1/RATIO.