Semantic Deception: When Reasoning Models Can't Compute an Addition
作者: Nathaniël de Leeuw, Marceau Nahon, Mathis Reymond, Raja Chatila, Mehdi Khamassi
分类: cs.CL
发布日期: 2025-12-23
备注: 22 pages, 5 figures
💡 一句话要点
提出语义欺骗框架，揭示LLM在符号推理中易受语义误导的缺陷
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 符号推理 语义欺骗 抽象能力 决策任务
📋 核心要点
- 现有LLM在决策任务中被广泛应用，但其符号推理能力，尤其是在面对语义误导时，仍存在挑战。
- 论文提出“语义欺骗”框架，通过设计带有误导性语义联想的符号，来探究LLM的符号抽象能力。
- 实验表明，语义线索会显著降低LLM在简单计算任务上的性能，揭示了LLM过度依赖表面语义的弱点。
📝 摘要（中文）
大型语言模型（LLM）越来越多地应用于涉及人类价值观的场景，例如需要人类进行推理的决策任务。本文通过引入一个实验框架来测试LLM处理和操作不熟悉符号的能力，从而研究LLM在新的符号表示上的推理能力。我们引入了语义欺骗：符号由于其形式而带有误导性语义联想的情况，旨在探究LLM是否能保持符号抽象，或者是否会默认利用已学习的语义联想。我们使用新的符号重新定义了标准数字和数学运算符，并要求LLM解决以这种改变的符号表示的简单计算。目标是：（1）评估LLM抽象和操作任意符号系统的能力；（2）评估其抵抗与任务的符号逻辑相冲突的误导性语义线索的能力。通过对四个LLM的实验，我们表明语义线索会显著降低推理模型在非常简单的任务上的性能。这些实验揭示了当前LLM在符号操作方面的局限性，并突出了过度依赖表面语义的趋势，表明思维链可能会放大对统计相关性的依赖。即使在LLM似乎正确遵循指令的情况下，语义线索仍然会影响基本能力。这些局限性引发了伦理和社会问题，削弱了将推理能力归因于LLM的普遍且有害的趋势，并暗示了LLM可能如何失败，特别是在需要稳健的符号推理并且不应受到模型训练中继承的残余语义联想影响的决策环境中。
🔬 方法详解
问题定义：论文旨在解决LLM在符号推理中易受语义误导的问题。现有LLM虽然在很多任务上表现出色，但在处理抽象符号时，容易受到符号本身携带的语义信息干扰，导致推理错误。这种现象在需要严格符号逻辑的决策任务中尤其危险。
核心思路：核心思路是设计一种“语义欺骗”的实验框架，通过人为构造带有误导性语义联想的符号，来测试LLM是否能够真正理解和操作符号的逻辑含义，而不是仅仅依赖于符号的表面语义。这种方法可以有效地评估LLM的符号抽象能力和抗干扰能力。
技术框架：该框架主要包括以下几个步骤：1. 符号重定义：使用新的、不熟悉的符号来代替标准的数字和数学运算符。这些新符号被设计成带有特定的语义联想，例如，用一个看起来像加号的符号来表示减法。2. 任务构建：构建简单的计算任务，例如加法、减法等，使用重定义后的符号来表示。3. 模型测试：将这些任务输入到不同的LLM中，观察其计算结果。4. 结果分析：分析LLM的计算结果，评估其是否受到了语义欺骗的影响。
关键创新：关键创新在于提出了“语义欺骗”这一概念，并将其转化为一个可操作的实验框架。该框架能够有效地量化LLM在符号推理中对语义信息的依赖程度，揭示了LLM在符号抽象方面的局限性。与以往的研究不同，该研究关注的是LLM在面对语义误导时的脆弱性，而不是其在理想情况下的推理能力。
关键设计：实验中，作者精心设计了带有误导性语义联想的符号，例如，使用形状类似于加号的符号来表示减法，或者使用颜色与大小来暗示数字的大小关系，但实际数值却相反。此外，作者还使用了不同的LLM，并调整了任务的难度，以更全面地评估LLM的符号推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使在非常简单的计算任务中，语义线索也会显著降低LLM的性能。例如，某些LLM在面对语义欺骗时，正确率下降了50%以上。这表明，即使LLM在表面上看起来能够遵循指令，其底层的推理过程仍然容易受到语义信息的干扰。实验还发现，思维链（Chain-of-Thought）方法可能会放大LLM对统计相关性的依赖，从而加剧语义欺骗的影响。
🎯 应用场景
该研究成果可应用于评估和改进LLM在安全关键领域的应用，例如金融决策、医疗诊断等。通过提高LLM的符号推理能力和抗干扰能力，可以减少因语义误导导致的错误决策，提高系统的可靠性和安全性。未来的研究可以探索更复杂的语义欺骗场景，并开发相应的防御机制。
📄 摘要（原文）
Large language models (LLMs) are increasingly used in situations where human values are at stake, such as decision-making tasks that involve reasoning when performed by humans. We investigate the so-called reasoning capabilities of LLMs over novel symbolic representations by introducing an experimental framework that tests their ability to process and manipulate unfamiliar symbols. We introduce semantic deceptions: situations in which symbols carry misleading semantic associations due to their form, such as being embedded in specific contexts, designed to probe whether LLMs can maintain symbolic abstraction or whether they default to exploiting learned semantic associations. We redefine standard digits and mathematical operators using novel symbols, and task LLMs with solving simple calculations expressed in this altered notation. The objective is: (1) to assess LLMs' capacity for abstraction and manipulation of arbitrary symbol systems; (2) to evaluate their ability to resist misleading semantic cues that conflict with the task's symbolic logic. Through experiments with four LLMs we show that semantic cues can significantly deteriorate reasoning models' performance on very simple tasks. They reveal limitations in current LLMs' ability for symbolic manipulations and highlight a tendency to over-rely on surface-level semantics, suggesting that chain-of-thoughts may amplify reliance on statistical correlations. Even in situations where LLMs seem to correctly follow instructions, semantic cues still impact basic capabilities. These limitations raise ethical and societal concerns, undermining the widespread and pernicious tendency to attribute reasoning abilities to LLMs and suggesting how LLMs might fail, in particular in decision-making contexts where robust symbolic reasoning is essential and should not be compromised by residual semantic associations inherited from the model's training.