MIH-TCCT: Mitigating Inconsistent Hallucinations in LLMs via Event-Driven Text-Code Cyclic Training

📄 arXiv: 2502.08904v3 📥 PDF

作者: Xinxin You, Xien Liu, Qixin Sun, Huan Zhang, Kaiyin Zhou, Shaohui Liu, GuoPing Hu, ShiJin Wang, Si Liu, Ji Wu

分类: cs.AI

发布日期: 2025-02-13 (更新: 2025-02-27)

💡 一句话要点

提出MIH-TCCT框架，通过事件驱动的文本-代码循环训练缓解LLM中的不一致性幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉缓解 文本代码循环训练 逻辑一致性 事件驱动 循环训练 代码生成

📋 核心要点

  1. 现有方法依赖合成数据解决LLM幻觉，但泛化性差，难以适应不同任务。
  2. 提出MIH-TCCT框架，通过文本到代码的循环训练，将代码的逻辑一致性迁移到自然语言。
  3. 实验表明，该方法在多个LLM和任务上有效减少不一致幻觉，同时保持模型性能。

📝 摘要（中文）

现有方法主要依赖合成数据集解决大语言模型（LLM）中不一致的幻觉问题，但这些方法通常针对特定任务，泛化能力有限。受代码训练模型在逻辑密集型领域表现出色的启发，我们提出了一种新颖的框架，该框架利用基于事件的文本生成相应的代码，并采用循环训练来有效地将代码的逻辑一致性转移到自然语言。我们的方法显著减少了三个领先LLM在两类自然语言任务中的不一致幻觉，同时保持了整体性能。该框架有效地缓解了幻觉，无需适应下游任务，展示了通用性，并为解决不一致幻觉的挑战提供了新的视角。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中普遍存在的不一致性幻觉问题。现有方法，如使用合成数据集进行训练，往往针对特定任务设计，缺乏通用性，难以有效缓解不同场景下的幻觉现象。这些方法无法充分利用代码的逻辑严谨性来提升LLM的推理一致性。

核心思路：论文的核心思路是利用代码的逻辑一致性来提升LLM的推理能力，从而减少不一致性幻觉。具体而言，通过将自然语言文本转换为代码，并利用代码的执行结果反过来指导文本生成，形成一个循环训练过程，从而将代码的逻辑约束注入到LLM中。

技术框架：MIH-TCCT框架包含以下主要模块：1) 事件驱动的文本到代码生成器：将输入的自然语言事件描述转换为相应的代码片段。2) 代码执行器：执行生成的代码，得到代码的输出结果。3) 代码到文本生成器：将代码的输出结果转换为自然语言文本。4) 循环训练机制：通过对比原始文本和循环生成的文本，利用损失函数优化LLM，使其学习到代码的逻辑一致性。

关键创新：该方法的核心创新在于利用事件驱动的文本-代码循环训练，将代码的逻辑一致性迁移到自然语言模型中。与现有方法相比，该方法不需要针对特定任务进行定制，具有更好的通用性。此外，该方法通过循环训练的方式，能够更有效地将代码的逻辑约束注入到LLM中，从而减少不一致性幻觉。

关键设计：在文本到代码生成器中，使用了基于Transformer的模型，并针对代码生成的特点进行了优化。在循环训练过程中，使用了对比学习损失函数，鼓励模型生成与原始文本语义一致的文本。具体的参数设置和网络结构细节在论文中有详细描述，但摘要中未明确给出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MIH-TCCT框架在三个领先的LLM（具体模型名称未知）和两类自然语言任务上显著减少了不一致性幻觉，同时保持了整体性能。具体的性能提升数据和对比基线在摘要中未给出，但强调了该方法在缓解幻觉方面的有效性和通用性。

🎯 应用场景

该研究成果可广泛应用于需要高逻辑一致性的自然语言处理任务中，例如问答系统、对话生成、文本摘要等。通过减少LLM中的不一致性幻觉，可以提高这些应用的可靠性和用户体验。此外，该方法还可以应用于代码生成、程序理解等领域，促进自然语言与代码的融合。

📄 摘要（原文）

Recent methodologies utilizing synthetic datasets have aimed to address inconsistent hallucinations in large language models (LLMs); however,these approaches are primarily tailored to specific tasks, limiting their generalizability. Inspired by the strong performance of code-trained models in logic-intensive domains, we propose a novel framework that leverages event-based text to generate corresponding code and employs cyclic training to transfer the logical consistency of code to natural language effectively. Our method significantly reduces inconsistent hallucinations across three leading LLMs and two categories of natural language tasks while maintaining overall performance. This framework effectively alleviates hallucinations without necessitating adaptation to downstream tasks, demonstrating generality and providing new perspectives to tackle the challenge of inconsistent hallucinations.