Meaningless is better: hashing bias-inducing words in LLM prompts improves performance in logical reasoning and statistical learning

📄 arXiv: 2411.17304v2 📥 PDF

作者: Milena Chadimová, Eduard Jurášek, Tomáš Kliegr

分类: cs.CL, cs.AI

发布日期: 2024-11-26 (更新: 2025-06-11)

💡 一句话要点

提出一种基于哈希的提示方法，提升LLM在逻辑推理和统计学习中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏差 哈希方法 逻辑推理 统计学习 提示工程 偏差缓解

📋 核心要点

  1. 现有LLM易受提示中偏差诱导词的影响，导致认知偏差和对外部知识的过度依赖，影响推理和学习能力。
  2. 论文提出“哈希”方法，用无意义标识符替换提示中的偏差诱导词，旨在减少LLM的认知偏差，促使其更多地依赖输入信息。
  3. 实验表明，该方法在逻辑推理（琳达问题）和统计学习（频繁项集提取）任务中，显著提升了LLM的性能，且适用于不同输入形式。

📝 摘要（中文）

本文提出了一种名为“哈希”的新方法，该方法通过使用类似哈希的无意义标识符来屏蔽大型语言模型（LLM）提示中潜在的偏差诱导词，从而减少认知偏差和对外部知识的依赖。该方法在三个实验中进行了测试，共涉及490个提示。使用卡方检验的统计分析表明，在所有测试场景中都取得了显著的改进，这些场景涵盖了LLama、ChatGPT、Copilot、Gemini和Mixtral模型。在第一个实验中，哈希降低了修改后的“琳达”问题中的谬误率，该问题旨在评估对认知偏差的敏感性。在第二个实验中，它提高了LLM在频繁项集提取任务中的结果。在第三个实验中，我们发现当以表格形式而非文本形式呈现琳达问题时，哈希也有效，表明该技术适用于各种输入表示。总的来说，该方法被证明可以改善偏差减少和外部知识的整合。尽管减少了偏差，但幻觉率在不同类型的LLM模型中并未一致降低。这些发现表明，屏蔽偏差诱导项可以提高LLM的性能，尽管其有效性取决于模型和任务。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在处理逻辑推理和统计学习任务时，容易受到提示语中特定词汇的诱导，产生认知偏差，过度依赖外部知识，而忽略了输入数据本身的信息。这种偏差会降低LLM的准确性和可靠性。

核心思路：论文的核心思路是通过屏蔽提示语中可能诱发偏差的词汇，迫使LLM更多地关注输入数据本身，减少对外部知识和固有偏见的依赖。具体来说，使用哈希算法将这些偏差诱导词替换为无意义的标识符，从而消除其语义信息。

技术框架：该方法主要包含以下几个步骤：1) 识别并选择可能诱发偏差的词汇；2) 使用哈希函数将这些词汇转换为无意义的标识符；3) 将原始提示语中的偏差诱导词替换为对应的哈希标识符；4) 将修改后的提示语输入LLM进行推理或学习；5) 对LLM的输出结果进行评估，判断其性能是否得到提升。

关键创新：该方法最重要的创新点在于其简单性和有效性。通过一种简单直接的方式，即屏蔽偏差诱导词，来减少LLM的认知偏差，而无需对LLM的内部结构或训练过程进行修改。与现有方法相比，该方法更易于实施，且具有更广泛的适用性。

关键设计：关键设计在于如何选择需要屏蔽的偏差诱导词。论文中采用的方法是基于先验知识和经验，选择那些在特定任务中容易引起偏差的词汇。此外，哈希函数的选择也很重要，需要保证其能够将不同的词汇映射到不同的标识符，避免冲突。

📊 实验亮点

实验结果表明，该方法在多个LLM模型（LLama、ChatGPT、Copilot、Gemini和Mixtral）上均取得了显著的性能提升。在修改后的“琳达”问题中，谬误率显著降低。在频繁项集提取任务中，LLM的准确率得到提高。此外，该方法在表格数据输入上也表现出良好的效果，表明其具有较强的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要减少LLM认知偏差的场景，例如金融风险评估、医疗诊断辅助、法律文本分析等。通过屏蔽提示中的偏差诱导词，可以提高LLM的决策质量和公平性，降低误判风险，从而提升其在实际应用中的价值。未来，该方法有望推广到更广泛的自然语言处理任务中。

📄 摘要（原文）

This paper introduces a novel method, referred to as "hashing", which involves masking potentially bias-inducing words in large language models (LLMs) with hash-like meaningless identifiers to reduce cognitive biases and reliance on external knowledge. The method was tested across three sets of experiments involving a total of 490 prompts. Statistical analysis using chi-square tests showed significant improvements in all tested scenarios, which covered LLama, ChatGPT, Copilot, Gemini and Mixtral models. In the first experiment, hashing decreased the fallacy rate in a modified version of the "Linda" problem aimed at evaluating susceptibility to cognitive biases. In the second experiment, it improved LLM results on the frequent itemset extraction task. In the third experiment, we found hashing is also effective when the Linda problem is presented in a tabular format rather than text, indicating that the technique works across various input representations. Overall, the method was shown to improve bias reduction and incorporation of external knowledge. Despite bias reduction, hallucination rates were inconsistently reduced across types of LLM models. These findings suggest that masking bias-inducing terms can improve LLM performance, although its effectiveness is model- and task-dependent.