RetroThinker: Enabling Retrospective Thinking in Speech LLMs

📄 arXiv: 2609.11864v1 📥 PDF

作者: Yi-Jen Shih, Puyuan Peng, Abdelrahman Mohamed, David Harwath

分类: eess.AS, cs.AI, cs.CL

发布日期: 2026-09-10

备注: Accepted to IEEE SLT 2026

💡 一句话要点

提出RetroThinker以解决语音LLM推理延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音大型语言模型 动态推理 链式思维 实时交互 监督微调 直接偏好优化 准确性提升

📋 核心要点

  1. 现有的语音大型语言模型在复杂推理任务上表现不如文本模型，且实时交互对延迟要求严格。
  2. 本文提出的RetroThinker框架允许模型在推理过程中动态修正推理步骤，提升推理准确性。
  3. 在GSM8K基准测试中，RetroThinker在保持相似延迟的情况下，准确性提升了11%。

📝 摘要（中文）

语音大型语言模型（SpeechLLMs）在复杂推理任务上仍落后于文本模型，且实时语音交互对延迟有严格要求。尽管已有方法通过链式思维（CoT）和并发推理来提升推理能力，但仍存在准确性与延迟之间的权衡。本文提出RetroThinker，一个多阶段后训练框架，使Moshi模型在推理过程中能够动态修正推理轨迹。RetroThinker结合了针对回顾性思维数据的监督微调（SFT）和基于长度的直接偏好优化（DPO），在用户发言时优化早期推理的回顾性。通过在GSM8K基准上的评估，RetroThinker显著改善了准确性与延迟的权衡，在相似延迟下实现了11%的绝对准确性提升。

🔬 方法详解

问题定义：本文旨在解决语音大型语言模型在复杂推理任务中的准确性不足和延迟问题。现有方法在提升推理能力时，仍面临准确性与延迟之间的权衡。

核心思路：RetroThinker的核心思路是通过动态修正推理轨迹，允许模型在用户发言时进行实时的推理调整，从而提升准确性。

技术框架：RetroThinker采用多阶段后训练框架，主要包括监督微调（SFT）和长度基础的直接偏好优化（DPO）。SFT用于训练模型在回顾性思维数据上进行自我验证，而DPO则优化推理过程中的回顾性。

关键创新：RetroThinker的主要创新在于其动态修正推理步骤的能力，使得模型能够在推理过程中实时调整，而不是依赖于静态的推理链。这一设计显著改善了准确性与延迟的权衡。

关键设计：在模型训练中，采用了针对回顾性思维的特定数据集进行监督微调，同时在推理阶段引入长度基础的直接偏好优化，以确保模型在用户发言时能够有效地进行推理调整。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在GSM8K基准测试中，RetroThinker相较于非回顾性基线显著提高了11%的绝对准确性，同时保持了相似的推理延迟。这一结果展示了其在准确性与延迟之间的优越平衡。

🎯 应用场景

RetroThinker的研究成果在实时语音交互、智能助手和自动客服等领域具有广泛的应用潜力。通过提升语音模型的推理能力，可以实现更自然和高效的人机交互，进而推动智能语音技术的发展。

📄 摘要（原文）

Speech large language models (SpeechLLMs) offer reduced latency and retain paralinguistic nuances that are typically lost in cascaded automatic speech recognition (ASR) and text-based LM architectures. However, they continue to lag behind text-only LLMs on complex reasoning tasks, while real-time spoken interaction imposes strict latency constraints. Although prior works employ Chain-of-Thought (CoT) and concurrent reasoning to enhance reasoning capabilities without inducing prohibitive delays, an inherent accuracy-latency trade-off persists. In this paper, we investigate whether a streaming SpeechLLM can dynamically revise its reasoning traces on the fly. We introduce RetroThinker, a multi-stage post-training framework that equips the Moshi model to self-verify and forward-correct CoT steps during inference. RetroThinker combines supervised fine-tuning (SFT) on curated retrospective thinking data with length-based direct preference optimization (DPO) to optimize retrospective during early reasoning (i.e., reasoning concurrently while the user speaks). Evaluated on the GSM8K benchmark, RetroThinker significantly improves the accuracy-latency trade-off over non-retrospective baselines, achieving an 11% absolute accuracy gain at a comparable latency.