iTAG: Inverse Design for Natural Text Generation with Accurate Causal Graph Annotations

📄 arXiv: 2604.06902v1 📥 PDF

作者: Wenshuo Wang, Boyu Cao, Nan Zhuang, Wei Li

分类: cs.CL

发布日期: 2026-04-08

备注: Accepted at ACL 2026

💡 一句话要点

提出iTAG，通过逆向设计和精确因果图标注生成自然文本，解决文本因果发现中数据匮乏问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果发现 文本生成 逆向设计 大型语言模型 因果图标注

📋 核心要点

  1. 现有文本因果发现缺乏带标注数据，标注成本高，现有方法在自然性和标注准确性上存在trade-off。
  2. iTAG将文本生成视为逆向问题，通过CoT推理迭代优化概念选择，保证生成文本与目标因果图的一致性。
  3. 实验表明iTAG在标注准确性和自然性上表现出色，生成数据可作为文本因果发现算法的有效基准。

📝 摘要（中文）

由于高昂的标注成本，从文本中进行因果发现的一个根本障碍是缺乏可作为ground truth的因果标注文本数据。这促使生成带有因果图标注的文本成为一项重要任务。早期的基于模板的生成方法牺牲了文本的自然性，以换取高因果图标注准确性。最近依赖于大型语言模型（LLM）的方法直接通过LLM从目标图生成自然文本，但不能保证因果图标注的准确性。因此，我们提出了iTAG，它在现有的依赖于LLM的方法中，在将因果图转换为文本之前，执行真实世界的概念分配给节点。iTAG将这个过程构建为一个以因果图为目标的逆问题，通过思维链（CoT）推理迭代地检查和完善概念选择，使得概念之间产生的关系与因果图描述的目标因果关系尽可能一致。广泛的测试表明，iTAG具有极高的标注准确性和自然性，并且使用生成的数据测试基于文本的因果发现算法的结果显示出与真实世界数据的高度统计相关性。这表明iTAG生成的数据可以作为基于文本的因果发现算法的可扩展基准的实用替代品。

🔬 方法详解

问题定义：论文旨在解决文本因果发现领域中缺乏高质量、带精确因果图标注的文本数据的问题。现有方法，如基于模板的方法，虽然能保证标注准确性，但生成的文本缺乏自然性；而直接利用大型语言模型（LLM）的方法，虽然能生成自然文本，但无法保证因果图标注的准确性。因此，如何生成既自然又具有高精度因果图标注的文本成为一个挑战。

核心思路：iTAG的核心思路是将文本生成过程视为一个逆向设计问题。给定一个目标因果图，iTAG不是直接生成文本，而是首先为因果图中的每个节点分配真实世界的概念，然后利用大型语言模型将这些概念组合成自然文本。关键在于概念分配的过程，iTAG通过迭代地检查和完善概念选择，确保概念之间产生的关系与目标因果图描述的因果关系尽可能一致。

技术框架：iTAG的整体框架包含以下几个主要阶段：1) 概念分配：为因果图中的每个节点分配一个真实世界的概念。2) 关系推断：利用大型语言模型推断概念之间的关系。3) 一致性检查：检查推断出的关系与目标因果图描述的因果关系是否一致。4) 迭代优化：如果一致性不高，则通过思维链（CoT）推理重新选择概念，并重复关系推断和一致性检查，直到达到预定的准确性或迭代次数。5) 文本生成：使用最终确定的概念和它们之间的关系，利用大型语言模型生成自然文本。

关键创新：iTAG最重要的创新点在于将文本生成问题转化为一个逆向设计问题，并引入了迭代优化和一致性检查机制。与现有方法相比，iTAG不是直接从因果图生成文本，而是先确定概念，再生成文本，从而更好地控制生成文本的因果关系。此外，通过CoT推理进行概念选择，能够更有效地找到与目标因果图一致的概念组合。

关键设计：iTAG的关键设计包括：1) 概念选择策略：如何从大量的概念中选择合适的概念分配给因果图的节点。2) 关系推断方法：如何利用大型语言模型准确地推断概念之间的关系。3) 一致性度量：如何量化推断出的关系与目标因果图之间的差异。4) CoT推理提示设计：如何设计有效的CoT提示，引导大型语言模型进行概念选择和关系推断。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，iTAG在因果图标注准确性和文本自然性方面均优于现有方法。使用iTAG生成的数据训练的文本因果发现算法，其性能与使用真实世界数据训练的算法具有高度的统计相关性，这表明iTAG生成的数据可以作为真实世界数据的有效替代品，用于大规模评估文本因果发现算法。

🎯 应用场景

iTAG生成的带因果图标注的文本数据可广泛应用于文本因果发现算法的训练和评估。该方法能够降低因果关系标注成本，促进因果关系在自然语言处理领域的应用，例如在医疗诊断、政策分析、智能推荐等领域，帮助人们更好地理解和利用文本中的因果信息。

📄 摘要（原文）

A fundamental obstacle to causal discovery from text is the lack of causally annotated text data for use as ground truth, due to high annotation costs. This motivates an important task of generating text with causal graph annotations. Early template-based generation methods sacrifice text naturalness in exchange for high causal graph annotation accuracy. Recent Large Language Model (LLM)-dependent methods directly generate natural text from target graphs through LLMs, but do not guarantee causal graph annotation accuracy. Therefore, we propose iTAG, which performs real-world concept assignment to nodes before converting causal graphs into text in existing LLM-dependent methods. iTAG frames this process as an inverse problem with the causal graph as the target, iteratively examining and refining concept selection through Chain-of-Thought (CoT) reasoning so that the induced relations between concepts are as consistent as possible with the target causal relationships described by the causal graph. iTAG demonstrates both extremely high annotation accuracy and naturalness across extensive tests, and the results of testing text-based causal discovery algorithms with the generated data show high statistical correlation with real-world data. This suggests that iTAG-generated data can serve as a practical surrogate for scalable benchmarking of text-based causal discovery algorithms.