Judging It, Washing It: Scoring and Greenwashing Corporate Climate Disclosures using Large Language Models

📄 arXiv: 2502.15094v2 📥 PDF

作者: Marianne Chuang, Gabriel Chuang, Cheryl Chuang, John Chuang

分类: cs.CL, stat.AP

发布日期: 2025-02-20 (更新: 2025-05-23)

备注: 17 pages, 12 figures. To appear, ClimateNLP 2025

💡 一句话要点

利用大型语言模型评估企业气候信息披露并识别“漂绿”行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 气候信息披露 漂绿 企业社会责任 ESG投资

📋 核心要点

  1. 企业气候信息披露的真实性和有效性难以评估，存在“漂绿”风险，需要更有效的评估方法。
  2. 利用大型语言模型（LLMs）作为评估者（LLMJ），对企业气候信息披露进行评分和分析，并研究LLM的“漂绿”能力。
  3. 实验表明，LLMJ方法能够有效区分企业气候信息披露的质量，且成对比较方法对“漂绿”信息具有更强的鲁棒性。

📝 摘要（中文）

本文研究了使用大型语言模型（LLMs）来评估和“漂绿”企业气候信息披露。首先，我们研究了使用LLM-as-a-Judge（LLMJ）方法来评估公司提交的关于减排目标和进展的报告。其次，我们探讨了在准确性和长度约束下，提示LLM“漂绿”回复时的行为。最后，我们测试了LLMJ方法对于可能被LLM“漂绿”的回复的鲁棒性。我们发现，两种LLMJ评分系统，数值评分和成对比较，能够有效区分表现优异的公司和其他公司，其中成对比较系统在对抗LLM“漂绿”回复时表现出更强的鲁棒性。

🔬 方法详解

问题定义：论文旨在解决企业气候信息披露评估中存在的“漂绿”问题。现有方法难以有效区分真实减排努力和虚假宣传，缺乏客观、可扩展的评估手段。企业为了提升自身形象，可能在报告中夸大环保成就，掩盖不利信息，误导投资者和公众。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的自然语言理解和生成能力，构建自动化的评估和“漂绿”检测系统。通过将LLM作为裁判（LLMJ），对企业提交的气候报告进行评分，并分析LLM在被提示“漂绿”时的行为，从而评估报告的真实性和可靠性。

技术框架：整体框架包含三个主要阶段：1) 利用LLMJ对企业气候报告进行评分，采用数值评分和成对比较两种方式；2) 探索LLM在被提示“漂绿”时的行为，分析其生成虚假信息的策略；3) 测试LLMJ方法对“漂绿”报告的鲁棒性，评估其抵抗虚假信息的能力。

关键创新：最重要的技术创新点在于将大型语言模型应用于企业气候信息披露的评估和“漂绿”检测。与传统的人工评估相比，LLMJ方法具有更高的效率和可扩展性，能够处理大规模的企业报告。此外，通过分析LLM的“漂绿”行为，可以更好地理解企业虚假宣传的策略，从而开发更有效的检测方法。

关键设计：在LLMJ评分系统中，采用了两种评分方式：数值评分和成对比较。数值评分直接给出报告的质量得分，成对比较则通过比较两份报告的优劣来判断其相对质量。在“漂绿”实验中，通过提示LLM生成更积极、更环保的报告，并设置准确性和长度约束，模拟企业进行虚假宣传的场景。鲁棒性测试则评估LLMJ方法在面对“漂绿”报告时的评分表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMJ方法能够有效区分表现优异的公司和其他公司。成对比较系统在对抗LLM“漂绿”回复时表现出更强的鲁棒性，表明其能够更好地识别虚假信息。这些发现为构建更可靠的企业气候信息披露评估系统提供了有价值的参考。

🎯 应用场景

该研究成果可应用于企业社会责任（CSR）评估、环境、社会和治理（ESG）投资、监管机构的合规性审查等领域。通过自动化评估企业气候信息披露的质量，可以帮助投资者做出更明智的决策，促进企业更加透明地报告其环境影响，并减少“漂绿”行为，推动可持续发展。

📄 摘要（原文）

We study the use of large language models (LLMs) to both evaluate and greenwash corporate climate disclosures. First, we investigate the use of the LLM-as-a-Judge (LLMJ) methodology for scoring company-submitted reports on emissions reduction targets and progress. Second, we probe the behavior of an LLM when it is prompted to greenwash a response subject to accuracy and length constraints. Finally, we test the robustness of the LLMJ methodology against responses that may be greenwashed using an LLM. We find that two LLMJ scoring systems, numerical rating and pairwise comparison, are effective in distinguishing high-performing companies from others, with the pairwise comparison system showing greater robustness against LLM-greenwashed responses.