Generating Effective CoT Traces for Mitigating Causal Hallucination

作者: Yiheng Zhao, Jun Yan

分类: cs.CL

发布日期: 2026-04-14

备注: 11 pages, 2 figures. Accepted at ACL 2026

💡 一句话要点

提出一种CoT轨迹生成方法，缓解小模型在事件因果识别中的因果幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果幻觉 事件因果识别 思维链 CoT轨迹生成 小模型微调

📋 核心要点

现有小模型在事件因果识别任务中存在严重的因果幻觉问题，缺乏有效的缓解方法。
设计了一种CoT轨迹生成pipeline，旨在生成满足特定标准的CoT轨迹，从而减轻小模型的因果幻觉。
实验表明，使用该pipeline生成的CoT轨迹进行微调，能显著降低因果幻觉，并提高模型在跨数据集和跨难度上的泛化能力。

📝 摘要（中文）

大型语言模型（LLMs）在复杂推理任务中表现出色，但在事件因果识别（ECI）中存在严重的因果幻觉问题，尤其是在参数较小的模型（≤15亿参数）中。一个有希望的解决方案是使用思维链（CoT）轨迹进行微调。然而，目前缺乏可用于ECI的CoT轨迹数据集。本文首先研究了有效的CoT轨迹应具备的关键标准，以减轻小型模型中的因果幻觉。然后，我们设计了一个pipeline来生成满足这些标准的CoT轨迹。此外，由于目前没有量化因果幻觉的指标，我们还引入了一个新的指标，即因果幻觉率（CHR），以量化因果幻觉，指导有效CoT轨迹标准的制定，并验证我们pipeline的有效性。实验表明，使用我们pipeline生成的CoT轨迹进行微调，不仅能显著降低小型LLM中的因果幻觉，还能提高平均准确率。此外，微调后的模型表现出强大的跨数据集和跨难度泛化能力，以及在误导性干预提示下的鲁棒性。

🔬 方法详解

问题定义：论文旨在解决事件因果识别（ECI）任务中，小型语言模型（参数≤1.5B）存在的严重因果幻觉问题。现有方法缺乏有效的CoT轨迹数据集用于微调，并且缺乏量化因果幻觉的指标，难以指导CoT轨迹的生成和评估。

核心思路：论文的核心思路是首先分析有效的CoT轨迹应具备的关键标准，然后设计一个pipeline来生成满足这些标准的CoT轨迹。通过这种方式，可以引导模型学习正确的因果关系，从而减少因果幻觉。同时，引入因果幻觉率（CHR）作为量化指标，用于指导CoT轨迹标准的制定和pipeline的验证。

技术框架：该方法包含以下几个主要阶段：1) 分析有效CoT轨迹的标准；2) 设计CoT轨迹生成pipeline，根据分析的标准生成CoT轨迹；3) 引入因果幻觉率（CHR）作为评估指标；4) 使用生成的CoT轨迹对小型LLM进行微调；5) 评估微调后模型在ECI任务上的性能，包括准确率、因果幻觉率以及泛化能力。

关键创新：论文的关键创新在于：1) 提出了有效CoT轨迹的标准，为生成高质量的CoT轨迹提供了指导；2) 设计了一个CoT轨迹生成pipeline，能够生成满足这些标准的CoT轨迹；3) 引入了因果幻觉率（CHR）作为量化因果幻觉的指标，填补了该领域的空白。

关键设计：CoT轨迹生成pipeline的具体设计细节未知，论文中可能包含关于如何根据分析的标准生成CoT轨迹的具体策略和算法。CHR的计算方法也需要进一步参考论文。微调过程中的参数设置、损失函数等细节也需要查阅原文。

🖼️ 关键图片

fig_0

fig_1

📊 实验亮点

实验结果表明，使用该pipeline生成的CoT轨迹进行微调，能够显著降低小型LLM的因果幻觉，并提高平均准确率。微调后的模型在跨数据集和跨难度上表现出强大的泛化能力，并且在误导性干预提示下具有鲁棒性。具体的性能提升数据需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要进行事件因果推理的场景，例如智能问答、信息抽取、决策支持等。通过降低语言模型的因果幻觉，可以提高相关应用的可靠性和准确性，尤其是在资源受限的环境下，具有重要的实际价值。未来，该方法可以推广到其他类型的推理任务中，进一步提升语言模型的推理能力。

📄 摘要（原文）

Although large language models (LLMs) excel in complex reasoning tasks, they suffer from severe causal hallucination in event causality identification (ECI), particularly in smaller models ($\leq$1.5B parameters). A promising approach to address this issue is to fine-tune them with Chain-of-Thought (CoT) traces. However, there is currently a lack of CoT trace dataset available for ECI. In this paper, we first investigate the essential criteria that effective CoT traces should possess to mitigate causal hallucination in smaller models. We then design a pipeline to generate CoT traces that meet these criteria. Moreover, since there is currently no metric for quantifying causal hallucination, we also introduce a new metric, the Causal Hallucination Rate (CHR), to quantify causal hallucination, guide the formulation of effective CoT trace criteria, and validate the effectiveness of our pipeline. Our experiments show that fine-tuning with the CoT traces generated by our pipeline not only substantially reduces causal hallucination in smaller LLMs but also improves mean accuracy. Moreover, the fine-tuned models exhibit strong cross-dataset and cross-difficulty generalization, as well as robustness under misleading intervention prompts.