The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models
作者: Xavier Suau, Alex Ferrando de las Morenas, Luca Zappella, Samy Bengio
分类: cs.AI
发布日期: 2026-09-18
💡 一句话要点
提出回合制协议以解决语言模型中的树结构表达序列化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 树结构表达 序列化 推理 微调 信息传递 模型评估
📋 核心要点
- 现有语言模型在处理树结构信息时，序列化过程中存在信息损失和不对称性，影响推理准确性。
- 论文提出了一种回合制协议，通过生成和提取模型的组合，实证检验树结构表达的存活程度。
- 实验结果显示，生成阶段的失败率高达73.6%，且通道可通过微调显著提升模型性能。
📝 摘要（中文）
本研究探讨了语言模型在推理过程中如何将树结构信息序列化为自然语言，并提出了一种回合制协议来实证检验树结构表达在这一过程中存活的程度。通过生成器将程序生成的算术表达转化为文字问题，再通过提取器从文字问题中恢复表达，最终利用符号等价性提供准确的参考。实验结果显示，通道存在损失和不对称性，生成和提取模型的组合影响准确性，且生成阶段的失败率高达73.6%。此外，通过微调示例提升模型性能，验证了通道的可训练性。整体结果表明，树结构表达序列化是模型通过自然语言传递层次结构的主要限制因素。
🔬 方法详解
问题定义：本研究旨在解决语言模型在推理过程中如何有效序列化树结构表达的问题。现有方法在信息传递中存在显著的损失和不对称性，导致推理准确性下降。
核心思路：论文提出的回合制协议通过生成器和提取器的组合，实证检验树结构表达在序列化过程中的存活程度，旨在揭示生成与提取之间的相互影响。
技术框架：整体架构包括三个主要模块：生成器将程序生成的算术表达转化为文字问题，提取器从文字问题中恢复原始表达，符号等价性提供准确的参考。实验通过评估十六个模型的组合，构建通信矩阵。
关键创新：最重要的技术创新在于提出了回合制协议，能够量化生成与提取模型的性能差异，并揭示通道的损失特性和可训练性。与现有方法相比，本研究提供了更为系统的评估框架。
关键设计：实验中使用了约3600个微调示例，确保共享评估的操作符和树形结构，显著提升了每个开放权重模型的性能，验证了通道的可训练性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，生成和提取模型的组合对准确性有显著影响，最佳组合的准确率达到92.9%。同时，生成阶段的失败率高达73.6%，并且通过微调示例，所有开放权重模型的性能均得到了提升，验证了通道的可训练性。
🎯 应用场景
该研究的潜在应用领域包括教育、自动化问答系统和复杂问题求解等。通过提升语言模型在处理树结构信息时的准确性，可以改善人机交互的质量，推动智能助手和教育工具的发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
When language models reason in chain-of-thought or exchange free-text intermediates, they serialize structured information into natural language. How much tree-structured compositional content survives this bottleneck? We propose a round-trip protocol that answers this question empirically for tree-structured expressions. A generator converts a procedurally generated arithmetic expression into a word problem, a separate extractor recovers the expression from the word problem alone, and symbolic equivalence provides an exact oracle. Evaluating all pairwise combinations of sixteen models yields a communication matrix whose marginals separate generation quality from extraction quality. Three main findings emerge. First, the channel is lossy and asymmetric: swapping which model generates and which extracts shifts accuracy by up to 60.4 points, and the best pair reaches 92.9% by combining different models on each end rather than the same model on both. Second, at least 73.6% of round-trip failures originate at generation, and difficulty is driven by tree structure (operator count, depth, right-branching) rather than model family. Third, the channel is trainable: ~3600 fine-tuning examples that share the evaluation's operators and tree shapes lift every open-weight model above untrained Gemini-3.1-Pro, an upper bound under matched semantics. A disjoint-domain regime with new operators and vocabulary also raises every open-weight model, confirming the gain is not an artifact of matched semantics, though a gap to the frontier remains. Together these results identify tree-structured expression serialization as a primary limiting factor when models communicate hierarchical structure through natural language.