Internal Consistency and Self-Feedback in Large Language Models: A Survey
作者: Xun Liang, Shichao Song, Zifan Zheng, Hanyu Wang, Qingchen Yu, Xunkai Li, Rong-Hua Li, Yi Wang, Zhonghao Wang, Feiyu Xiong, Zhiyu Li
分类: cs.CL
发布日期: 2024-07-19 (更新: 2024-09-18)
备注: 20 pages, 10 figures, 6 tables, 13 equations
🔗 代码/项目: GITHUB
💡 一句话要点
提出自反馈框架，从内部一致性视角统一分析和提升大语言模型推理能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 内部一致性 自反馈 自评估 自更新
📋 核心要点
- 大语言模型在推理和生成方面存在缺陷，如推理错误和产生幻觉，需要有效方法来解决。
- 论文提出自反馈框架，通过自评估和自更新模块，利用内部一致性信号提升模型性能。
- 论文系统地分类了相关研究，总结了评估方法和基准，并探讨了自反馈的有效性。
📝 摘要（中文）
大型语言模型（LLMs）常表现出推理缺陷或产生幻觉。为了解决这些问题，涌现了诸如自洽性、自提升和自精炼等以“自-”为前缀的研究。它们有一个共同点：涉及LLM评估和更新自身。然而，这些工作缺乏统一的总结视角，因为现有的综述主要集中在分类上。本文采用内部一致性的统一视角，解释了推理缺陷和幻觉。内部一致性指的是基于抽样方法，LLM的潜在层、解码层或响应层之间表达的一致性。然后，我们介绍了一个能够挖掘内部一致性的有效理论框架，名为自反馈。该框架由自评估和自更新两个模块组成。前者捕获内部一致性信号，后者利用这些信号来增强模型的响应或模型本身。该框架已被应用于许多研究中。我们系统地按任务和工作路线对这些研究进行分类；总结相关的评估方法和基准；并深入研究“自反馈真的有效吗？”这一问题。我们还提出了几个关键观点，包括“内部一致性的沙漏演化”、“一致性（几乎）是正确性”假设，以及“潜在推理和显式推理的悖论”。相关的资源已在https://github.com/IAAR-Shanghai/ICSFSurvey上开源。
🔬 方法详解
问题定义：大语言模型在推理过程中容易出现不一致性，导致推理错误和幻觉。现有方法缺乏从统一视角对这些问题进行分析和解决，并且难以有效利用模型内部的信息来提升性能。因此，需要一种能够挖掘和利用模型内部一致性的方法，从而提高推理的可靠性和准确性。
核心思路：论文的核心思路是从内部一致性的角度出发，将大语言模型的推理过程视为一个多层表达的过程，通过评估不同层之间的表达一致性来发现潜在的错误和不确定性。然后，利用这些一致性信号来指导模型的自我改进，从而提高推理的准确性和可靠性。这种思路的核心在于认为模型内部存在着可以被利用的信息，通过合理的挖掘和利用，可以有效地提升模型性能。
技术框架：论文提出的自反馈框架包含两个主要模块：自评估（Self-Evaluation）和自更新（Self-Update）。自评估模块负责捕获模型内部的一致性信号，通过对模型在不同层的表达进行比较和分析，来评估模型推理过程中的不确定性和潜在错误。自更新模块则利用自评估模块提供的信号，对模型的响应或模型本身进行改进。自更新可以采取多种方式，例如通过调整模型的参数、修改模型的输出等。整体流程是，模型首先进行推理，然后自评估模块评估推理过程中的一致性，最后自更新模块根据评估结果对模型进行改进。
关键创新：论文最重要的技术创新点在于提出了自反馈框架，并将其与内部一致性的概念相结合。这种结合使得可以从一个统一的视角来分析和解决大语言模型中的推理缺陷和幻觉问题。此外，论文还提出了“内部一致性的沙漏演化”、“一致性（几乎）是正确性”假设，以及“潜在推理和显式推理的悖论”等关键观点，为理解和改进大语言模型提供了新的思路。
关键设计：自评估模块的关键设计在于如何有效地衡量模型内部的一致性。论文中可能涉及多种一致性度量方法，例如基于相似度的度量、基于概率分布的度量等。自更新模块的关键设计在于如何有效地利用自评估模块提供的信号来改进模型。这可能涉及到设计合适的损失函数、调整模型的参数等。具体的参数设置、损失函数、网络结构等技术细节可能因不同的应用场景而有所不同，需要在实际应用中进行调整和优化。
🖼️ 关键图片
📊 实验亮点
论文提出了自反馈框架，并从内部一致性的角度分析了大语言模型的推理问题。通过自评估和自更新模块，该框架能够有效地提升模型的推理能力。论文还提出了“内部一致性的沙漏演化”等关键观点，为未来的研究提供了新的方向。具体的实验结果（如果论文中有）需要查阅原文补充。
🎯 应用场景
该研究成果可广泛应用于需要高可靠性和准确性的自然语言处理任务中，例如智能问答、机器翻译、文本摘要、对话系统等。通过提高大语言模型的推理能力，可以提升这些应用的用户体验和实用价值，并有望在医疗、金融等领域发挥重要作用。
📄 摘要（原文）
Large language models (LLMs) often exhibit deficient reasoning or generate hallucinations. To address these, studies prefixed with "Self-" such as Self-Consistency, Self-Improve, and Self-Refine have been initiated. They share a commonality: involving LLMs evaluating and updating themselves. Nonetheless, these efforts lack a unified perspective on summarization, as existing surveys predominantly focus on categorization. In this paper, we use a unified perspective of internal consistency, offering explanations for reasoning deficiencies and hallucinations. Internal consistency refers to the consistency in expressions among LLMs' latent, decoding, or response layers based on sampling methodologies. Then, we introduce an effective theoretical framework capable of mining internal consistency, named Self-Feedback. This framework consists of two modules: Self-Evaluation and Self-Update. The former captures internal consistency signals, while the latter leverages the signals to enhance either the model's response or the model itself. This framework has been employed in numerous studies. We systematically classify these studies by tasks and lines of work; summarize relevant evaluation methods and benchmarks; and delve into the concern, "Does Self-Feedback Really Work?" We also propose several critical viewpoints, including the "Hourglass Evolution of Internal Consistency", "Consistency Is (Almost) Correctness" hypothesis, and "The Paradox of Latent and Explicit Reasoning". The relevant resources are open-sourced at https://github.com/IAAR-Shanghai/ICSFSurvey.