STITCH: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models

📄 arXiv: 2507.15375v1 📥 PDF

作者: Cheng-Han Chiang, Xiaofei Wang, Linjie Li, Chung-Ching Lin, Kevin Lin, Shujie Liu, Zhendong Wang, Zhengyuan Yang, Hung-yi Lee, Lijuan Wang

分类: cs.CL, eess.AS

发布日期: 2025-07-21

备注: Work in progress. Project page: https://d223302.github.io/STITCH/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出STITCH，一种用于语音语言模型的同步思考与说话的分块推理方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音语言模型 思维链 同步思考 分块推理 低延迟 人机交互 数学推理

📋 核心要点

  1. 现有语音语言模型缺乏在生成语音响应前进行内部思考推理的能力，导致表达不够清晰和简洁。
  2. Stitch通过交替生成无声推理块和语音响应块，利用语音生成间隙进行思考，实现同步思考和说话。
  3. 实验表明，Stitch在不增加延迟的情况下，在数学推理任务上比基线模型提升了15%，且在非推理任务上表现相当。

📝 摘要（中文）

语音语言模型(SLM)旨在接收语音输入并产生语音响应。然而，当前的SLM缺乏在响应之前执行内部、无声思考过程的能力。相比之下，人类通常进行复杂的心理推理，从而清晰简洁地交流思想。因此，将无声的思考过程集成到SLM中是非常理想的。虽然在开始说话之前天真地生成完整的思维链(CoT)推理可以使SLM进行思考，但这会给语音响应带来额外的延迟，因为CoT推理可能任意长。为了解决这个问题，我们提出了一种新的生成方法Stitch，它在无声推理块和语音响应块的生成之间交替进行。由于语音响应块的音频时长远大于生成语音响应块中的token的时间，我们利用剩余的空闲时间来生成无声推理token。当一段音频播放给用户时，模型继续生成下一个无声推理块，从而实现同步思考和说话。值得注意的是，Stitch在设计上与无法生成无声CoT的基线模型匹配延迟，同时在数学推理数据集上优于这些基线模型15%；Stitch在非推理数据集上的表现也与这些基线模型一样好。一些动画和演示在项目页面上：https://d223302.github.io/STITCH。

🔬 方法详解

问题定义：现有语音语言模型(SLM)在生成语音响应之前，缺乏有效的内部思考和推理机制。简单地在说话前生成完整的思维链(CoT)虽然可以实现思考，但会引入不可接受的延迟，尤其是在需要复杂推理的场景下。因此，如何在SLM中集成思考能力，同时避免显著增加响应延迟，是一个关键问题。

核心思路：Stitch的核心思路是“同步思考与说话”。它将生成过程分解为交替的无声推理块和语音响应块。利用语音响应生成过程中的时间间隙（因为生成音频的时长远大于生成文本token的时间），模型可以并行地进行推理，从而在不显著增加延迟的情况下，实现思考能力。

技术框架：Stitch的整体框架包含一个语音语言模型，该模型被修改为可以交替生成两种类型的块：无声推理块（CoT）和语音响应块。模型首先生成一个推理块，然后生成一个对应的语音响应块。在语音响应块的音频播放期间，模型继续生成下一个推理块。这个过程循环进行，直到生成完整的响应。

关键创新：Stitch的关键创新在于其交替生成推理块和响应块的机制。这种机制允许模型在不增加额外延迟的情况下进行思考，克服了传统CoT方法的局限性。通过精心设计块的大小和生成顺序，Stitch实现了同步思考和说话，提高了SLM的表达能力和效率。

关键设计：Stitch的关键设计包括：1) 块大小的确定：需要平衡推理块的长度和语音响应块的生成时间，以确保推理过程能够充分利用时间间隙。2) 损失函数：可能需要定制损失函数，以鼓励模型生成连贯的推理链和准确的语音响应。3) 模型架构：可以使用现有的语音语言模型架构，并对其进行修改以支持交替生成两种类型的块。具体的实现细节可能包括添加特殊的token来区分推理块和响应块，以及使用不同的解码策略来生成不同类型的块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Stitch在数学推理数据集上实现了显著的性能提升，相较于无法生成无声CoT的基线模型，性能提升了15%，同时保持了与这些基线模型相当的延迟。此外，在非推理数据集上，Stitch的表现也与基线模型相当，表明其具有良好的泛化能力，不会因为引入思考机制而降低在简单任务上的性能。

🎯 应用场景

Stitch具有广泛的应用前景，例如智能客服、语音助手、教育机器人等。它可以提升这些应用在复杂问题解决和人机交互方面的能力，使得机器能够像人类一样进行思考和表达，从而提供更自然、更智能的服务。未来，Stitch还可以与其他技术结合，例如知识图谱、强化学习等，进一步提升其推理能力和适应性。

📄 摘要（原文）

Spoken Language Models (SLMs) are designed to take speech inputs and produce spoken responses. However, current SLMs lack the ability to perform an internal, unspoken thinking process before responding. In contrast, humans typically engage in complex mental reasoning internally, enabling them to communicate ideas clearly and concisely. Thus, integrating an unspoken thought process into SLMs is highly desirable. While naively generating a complete chain-of-thought (CoT) reasoning before starting to talk can enable thinking for SLMs, this induces additional latency for the speech response, as the CoT reasoning can be arbitrarily long. To solve this issue, we propose Stitch, a novel generation method that alternates between the generation of unspoken reasoning chunks and spoken response chunks. Since the audio duration of a chunk of spoken response is much longer than the time to generate the tokens in a chunk of spoken response, we use the remaining free time to generate the unspoken reasoning tokens. When a chunk of audio is played to the user, the model continues to generate the next unspoken reasoning chunk, achieving simultaneous thinking and talking. Remarkably, Stitch matches the latency of baselines that cannot generate unspoken CoT by design while outperforming those baselines by 15% on math reasoning datasets; Stitch also performs equally well on non-reasoning datasets as those baseline models. Some animations and demonstrations are on the project page: https://d223302.github.io/STITCH.