On Code-Induced Reasoning in LLMs

📄 arXiv: 2509.21499v2 📥 PDF

作者: Abdul Waheed, Zhen Wu, Carolyn Rosé, Daphne Ippolito

分类: cs.CL, cs.PL

发布日期: 2025-09-25 (更新: 2025-10-02)

💡 一句话要点

系统性研究代码特性对LLM推理能力的影响，揭示结构与语义扰动的关键作用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 代码推理 结构扰动 语义扰动 多语言数据集 模型微调 推理能力 数据增强

📋 核心要点

  1. 现有研究对代码增强LLM推理能力的机制理解不足，缺乏对代码结构和语义作用的系统性分析。
  2. 通过构建多语言代码数据集并引入结构和语义扰动，研究不同代码特性对LLM推理的影响。
  3. 实验表明，LLM对代码结构扰动更敏感，且适当的代码抽象形式（如伪代码）也能有效提升推理能力。

📝 摘要（中文）

本文系统性地研究了代码数据如何增强大型语言模型(LLM)的推理能力，并探究了代码中哪些方面起着关键作用。作者构建了十种编程语言的并行指令数据集，并应用可控扰动选择性地破坏代码的结构或语义属性。然后，在每个变体上微调来自五个模型家族和八个尺度的LLM，并在自然语言、数学和代码任务上评估它们的性能。通过3331个实验，结果表明LLM对结构扰动比语义扰动更敏感，尤其是在数学和代码任务上。伪代码和流程图等适当的抽象可以与代码一样有效，而用更少的token编码相同的信息而不遵守原始语法通常可以保持甚至提高性能。值得注意的是，即使是带有误导性信号的损坏代码，当表面层面的规律性仍然存在时，仍然具有竞争力。此外，不同的语法风格也会影响特定任务的增益，Python有利于自然语言推理，而Java和Rust等较低级别的语言则有利于数学。通过本文的系统性框架，旨在深入了解代码的不同属性如何影响推理，并为增强LLM推理能力的训练数据设计提供信息。

🔬 方法详解

问题定义：现有研究表明，代码数据可以提升LLM的推理能力，但具体是代码的哪些特性起作用尚不明确。现有的方法缺乏对代码结构和语义在LLM推理中作用的系统性分析，难以指导LLM训练数据的有效设计。

核心思路：本文的核心思路是通过系统性地控制代码数据的结构和语义属性，并观察LLM在不同推理任务上的表现，从而揭示代码的不同特性对LLM推理能力的影响。通过构建多语言的并行指令数据集，并引入可控的结构和语义扰动，可以精确地评估不同代码特性对LLM的影响。

技术框架：本文的技术框架主要包含以下几个步骤：1) 构建多语言并行指令数据集，包含十种编程语言；2) 对代码数据进行结构和语义扰动，生成不同的变体；3) 在不同的代码变体上微调来自五个模型家族和八个尺度的LLM；4) 在自然语言、数学和代码任务上评估微调后的LLM的性能；5) 分析实验结果，揭示代码的不同特性对LLM推理能力的影响。

关键创新：本文最重要的技术创新点在于提出了一个系统性的、数据驱动的框架，用于研究代码特性对LLM推理能力的影响。该框架通过构建多语言并行指令数据集和引入可控的结构和语义扰动，实现了对代码特性的精确控制和评估。与现有方法相比，该框架能够更深入地理解代码的不同特性在LLM推理中所起的作用。

关键设计：在数据扰动方面，设计了多种结构扰动（例如，改变代码的缩进、删除注释等）和语义扰动（例如，改变变量名、替换等价的函数等）。在模型训练方面，选择了来自不同模型家族和不同尺度的LLM，以保证实验结果的泛化性。在评估方面，选择了自然语言、数学和代码三种不同类型的推理任务，以全面评估代码特性对LLM推理能力的影响。

📊 实验亮点

实验结果表明，LLM对代码的结构扰动比语义扰动更敏感，尤其是在数学和代码任务上。伪代码和流程图等适当的抽象可以与代码一样有效，甚至在某些情况下，用更少的token编码相同的信息可以提高性能。Python更适合自然语言推理，而Java和Rust等底层语言更适合数学推理。

🎯 应用场景

该研究成果可应用于指导LLM训练数据的设计，通过优化代码数据的结构和语义属性，提升LLM在自然语言处理、数学推理和代码生成等领域的性能。此外，该研究还可以帮助开发者更好地理解LLM的推理机制，从而开发出更有效的LLM应用。

📄 摘要（原文）

Code data has been shown to enhance the reasoning capabilities of large language models (LLMs), but it remains unclear which aspects of code are most responsible. We investigate this question with a systematic, data-centric framework. We construct parallel instruction datasets in ten programming languages and apply controlled perturbations that selectively disrupt structural or semantic properties of code. We then finetune LLMs from five model families and eight scales on each variant and evaluate their performance on natural language, math, and code tasks. Across 3,331 experiments, our results show that LLMs are more vulnerable to structural perturbations than semantic ones, particularly on math and code tasks. Appropriate abstractions like pseudocode and flowcharts can be as effective as code, while encoding the same information with fewer tokens without adhering to original syntax can often retain or even improve performance. Remarkably, even corrupted code with misleading signals remains competitive when surface-level regularities persist. Finally, syntactic styles also shape task-specific gains with Python favoring natural language reasoning and lower-level languages such as Java and Rust favoring math. Through our systematic framework, we aim to provide insight into how different properties of code influence reasoning and inform the design of training data for enhancing LLM reasoning capabilities.