J-CoT: Chain-of-Thought in J-Space
作者: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan
分类: cs.CL, cs.AI
发布日期: 2026-07-24
备注: work in progress
💡 一句话要点
提出J-CoT以解决语言模型推理中的信息传递问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 潜在推理 J空间 自然语言处理 智能问答 编程辅助 信息传递
📋 核心要点
- 现有的潜在推理方法在信息选择和组织上存在不足，导致推理效率低下。
- J-CoT通过在J空间中使用词汇索引系数，提供了一种新的中间状态表达方式，避免了对自然语言的依赖。
- 实验结果表明，J-CoT-Zero在所有基准测试中表现优异，J-CoT-Train在多个任务中获得最高分，显示出显著的性能提升。
📝 摘要（中文）
链式思维提示通过在连续计算步骤中传递中间状态来改善语言模型的推理能力。然而，单一依赖自然语言作为唯一的递归接口过于限制，因为许多瞬态计算并不需要完全的语言表达。现有的潜在推理方法通过递归传播连续的隐藏状态来消除这一限制，但它们整体传递密集的隐藏向量，缺乏选择和组织下一推理步骤所需信息的明确机制。为此，本文提出了J-CoT，一个建立在J空间基础上的递归推理框架，提供了一种不需要解码句子的中间接口。J-CoT在每个循环中计算其完整的隐藏空间，并在循环边界将中间状态表达为词汇索引系数，作为J-thought向前传递，并映射回模型的隐藏表示以供下一个循环使用。J-CoT在匹配的基础和推理设置下，在所有基准测试中与最强的潜在推理基线相匹配或超越，而J-CoT-Train在评估的数学、科学、编码和结构路径推理任务中获得最高分。
🔬 方法详解
问题定义：本文旨在解决现有潜在推理方法在信息选择和组织上的不足，特别是它们在传递密集隐藏向量时缺乏明确机制的问题。
核心思路：J-CoT的核心思路是通过在J空间中使用词汇索引系数来表达中间状态，从而在不需要完整语言表达的情况下实现信息的有效传递。
技术框架：J-CoT的整体架构包括多个循环，每个循环中模型在其完整的隐藏空间中进行计算。在循环边界，模型将中间状态转换为词汇索引系数，并将其作为J-thought传递到下一个循环。
关键创新：J-CoT的主要创新在于引入了J空间这一词汇索引坐标系统，使得中间状态的表达不再依赖于自然语言，提升了推理的灵活性和效率。
关键设计：在模型设计中，J-CoT使用了特定的参数设置和损失函数，以确保在每个循环中有效地计算和传递信息，同时优化了网络结构以支持J空间的操作。
🖼️ 关键图片
📊 实验亮点
在实验中，J-CoT-Zero在所有基准测试中表现出色，匹配或超越了最强的潜在推理基线，而J-CoT-Train在数学、科学、编码和结构路径推理任务中获得了最高分，显示出显著的性能提升。
🎯 应用场景
J-CoT的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、智能问答系统、编程辅助工具等。通过提高模型的推理能力，J-CoT能够在复杂任务中提供更准确的结果，推动智能系统的进一步发展。
📄 摘要（原文）
Chain-of-thought prompting improves language-model reasoning by carrying intermediate states across successive computation steps. However, relying on natural language as the only recurrent interface is overly restrictive, since many transient computations do not need to be fully verbalized. Existing latent-reasoning methods remove this constraint by recurrently propagating continuous hidden states. However, these methods pass a dense hidden vector as a whole, without an explicit mechanism for selecting and organizing the information needed by the next reasoning step. This motivates an intermediate interface that remains linguistically grounded without requiring a decoded sentence. We introduce \textbf{J-CoT}, a recurrent reasoning framework built on \emph{J-space}, a vocabulary-indexed coordinate system within the model's hidden representations. Within each cycle, the model computes in its full hidden space. At the cycle boundary, J-CoT expresses the intermediate state as vocabulary-indexed coefficients, carries these coefficients forward as a \emph{J-thought}, and maps them back into the model's hidden representation for the next cycle. J-CoT therefore requires neither a fluent intermediate rationale nor recurrence over the complete hidden state. Under matched backbone and inference settings, J-CoT-Zero matches or exceeds the strongest evaluated latent-reasoning baseline on every benchmark, while J-CoT-Train obtains the highest score across the evaluated mathematical, scientific, coding, and structured path-reasoning tasks.