Quantifying Organizational Environmental Action from Web Data and Large Language Models

📄 arXiv: 2609.16627v1 📥 PDF

作者: Quinn Reynolds, Daniel Shore, Vianey Leos Barajas, Tanhum Yoreh, Meredith Franklin

分类: cs.CL, cs.CY, cs.IR

发布日期: 2026-09-15

备注: 22 pages, 6 figures, appendices

💡 一句话要点

提出一种框架以量化组织环境行动，解决信息分散问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境行动量化 大型语言模型 数据整合 非结构化文本 可持续性评估

📋 核心要点

  1. 核心问题：现有方法在量化组织环境行动时面临信息分散和非结构化文本的挑战，导致数据提取困难。
  2. 方法要点：提出一种可扩展的计算框架，通过整合多种数据源，将网络内容转化为结构化的环境行动度量。
  3. 实验或效果：直接LLM分类方法识别出53%的教会具有环境行动，覆盖率高于其他基于检索的方法。

📝 摘要（中文）

从公开的网络内容中量化组织的环境行动是一个具有挑战性的环境数据科学问题，因为相关信息往往分散在多个网页上，并主要通过非结构化文本进行传达。本文提出了一种可扩展的计算框架，将组织的网络内容转化为结构化的环境行动度量，并以美国的犹太教会为例进行了验证。通过整合多个地理空间、知识库、目录和人工审核的来源，构建了一个包含4,964个教会的国家数据库，其中2,657个有活跃网站，成功抓取了154,454个网页。比较了三种检测环境行动的方法，结果显示直接使用大型语言模型（LLM）分类的覆盖率最高，识别出53%的教会具有至少一种环境行动。

🔬 方法详解

问题定义：本文旨在解决从公开网络内容中量化组织环境行动的问题。现有方法在信息检索和分类过程中存在信息丢失和效率低下的痛点。

核心思路：提出一种可扩展的计算框架，利用大型语言模型（LLM）直接分类，减少信息检索阶段的损失，提高分类的覆盖率和准确性。

技术框架：整体架构包括数据收集、信息检索、LLM分类三个主要模块。首先抓取组织的网页内容，然后通过不同的检索方法提取相关信息，最后使用LLM进行分类。

关键创新：最重要的技术创新在于直接使用LLM进行分类，避免了传统检索方法可能导致的信息丢失，提升了环境行动的识别率。

关键设计：在实验中，使用了三种不同的检索方法进行对比，设置了不同的参数以优化LLM的分类性能，确保了分类结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，直接LLM分类方法识别出1,398个教会（占53%）具有至少一种环境行动，覆盖率显著高于基于关键词和语义向量检索的方法，后者的分类一致性分别为0.26和0.42，显示出直接分类的优势。

🎯 应用场景

该研究的潜在应用领域包括环境监测、组织可持续性评估和政策制定等。通过提供一种系统化的方法，能够帮助各类机构量化其环境行动，进而推动更广泛的环境保护措施和政策实施，具有重要的实际价值和未来影响。

📄 摘要（原文）

Quantifying organizational environmental action from publicly available web content remains a challenging environmental data science problem because relevant information can be dispersed across multiple webpages and is primarily communicated through unstructured text. We present a scalable computational framework for transforming organizational web content into structured measures of environmental action and demonstrate the approach using Jewish congregations in the United States. We constructed a national database of 4,964 congregations by integrating multiple geospatial, knowledge-base, directory, and manually reviewed sources. Of these, 2,657 had active websites that were successfully crawled, producing a corpus of 154,454 webpages. We compared three approaches for detecting environmental actions: keyword retrieval followed by large language model (LLM) classification, semantic vector retrieval followed by LLM classification, and direct LLM classification classification without preliminary retrieval. Agreement with an expert human reviewer was lowest for keyword retrieval ($κ$ = 0.26), higher for semantic vector retrieval ($κ$ = 0.42), and similar for direct LLM classification ($κ$ = 0.40). Although semantic retrieval achieved the highest agreement, its retrieval recall was 0.87, indicating loss of relevant content before classification. Applied to the complete corpus, direct LLM classification identified at least one environmental action at 1,398 congregations (53%), providing greater coverage than either retrieval-based approach. These results demonstrate that preliminary retrieval can reduce computational cost but may exclude relevant information before it reaches the classifier. The framework provides a reproducible approach for extracting organization-level environmental information from unstructured web content that can be adapted to other institutions.