How Reliable Are Large Language Models for Soil Organic Carbon Assessment? An Australian Benchmark

📄 arXiv: 2610.18201v1 📥 PDF

作者: Yingxuan Cheng, Tong Li, Yayong Li, Yuchuan Fan, You-Gan Wang, Jinran Wu, Scott Chapman, Geoffrey J. McLachlan

分类: cs.PF, cs.AI, cs.CY

发布日期: 2026-10-13

💡 一句话要点

评估大型语言模型在土壤有机碳评估中的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 土壤有机碳 大型语言模型 农业管理 碳储存评估 数据验证 机器学习 生态监测

📋 核心要点

  1. 现有方法在使用大型语言模型进行土壤有机碳评估时缺乏验证，导致结果的可靠性存疑。
  2. 论文通过评估七种LLM配置在不同任务中的表现，提出了针对SOC评估的具体验证要求。
  3. 实验结果表明，额外的土壤属性测量可以显著提高SOC浓度估算的准确性，且不同配置在储量计算中表现优异。

📝 摘要（中文）

土壤有机碳（SOC）是农业土壤状况和碳储存的重要指标，但大型语言模型（LLMs）的数值输出在监测或管理前需要验证。本文评估了七种通用LLM配置在三项直接响应任务中的表现，包括估算308个澳大利亚农田的0-10厘米SOC浓度、计算120个匹配场景中的SOC储量以及比较300对农田。结果显示，额外的土壤属性测量可以显著降低浓度的平均绝对误差，尽管高SOC的低估和特定农田的误差仍然存在。研究提出了AI介导的SOC评估的三个基本要求，强调了任务特定验证的重要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在土壤有机碳评估中的可靠性问题，现有方法缺乏有效的验证机制，导致结果不准确。

核心思路：通过评估不同LLM配置在SOC估算和计算中的表现，提出了基于测量数据的验证框架，以确保结果的准确性和可靠性。

技术框架：研究分为三个主要任务：1) 估算SOC浓度；2) 计算SOC储量；3) 比较农田对。每个任务都使用了不同的LLM配置，并与实际测量数据进行对比。

关键创新：论文提出了三个基本要求：与测量浓度的一致性、单位一致的储量计算以及可靠的场地区分，这些要求为AI介导的SOC评估提供了新的验证标准。

关键设计：在实验中，使用了不同的参数设置和损失函数，特别是在储量计算中采用了方程本地单位，避免了粗颗粒的干扰，确保了计算的准确性。实验还评估了输出的可解析性和响应的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，六种配置在SOC储量计算中表现出高达90.5%-94.6%的准确率，而在52对紧密分隔的农田中，准确率为59.1%-70.9%。额外的土壤属性测量使浓度的平均绝对误差降低了13%-62%。

🎯 应用场景

该研究的潜在应用领域包括农业管理、土壤健康监测和碳储存评估。通过提供可靠的SOC评估方法，能够帮助农民和政策制定者更好地管理土壤资源，促进可持续农业发展。

📄 摘要（原文）

Soil organic carbon (SOC) is an indicator of agricultural soil condition and carbon storage, but numerical outputs from large language models (LLMs) require validation before use in monitoring or management. We evaluated seven general-purpose LLM configurations on three direct-response tasks: estimating 0--10 cm SOC concentrations for 308 Australian paddocks under two information conditions, calculating SOC stock in 120 matched scenarios, and comparing 300 paddock pairs. References were measured SOC records or deterministic calculations; response validity, repeated-call dispersion and estimated API cost were assessed separately. Additional measured soil attributes reduced concentration mean absolute error by 13--62\% across configurations, although high-SOC underprediction and paddock-specific errors persisted. Six configurations were highly accurate in stock calculations using equation-native units without coarse fragments, but accuracy declined with physically equivalent alternative units. Pairwise accuracy was 90.5--94.6\% overall and 59.1--70.9\% for 52 closely separated pairs; some configurations were sensitive to presentation order. Nearly all outputs were parseable, without necessarily being correct. The benchmark identifies three distinct requirements for AI-mediated SOC assessment: agreement with measured concentrations, unit-consistent stock calculations and reliable discrimination between sites. These findings support task-specific validation and auditable calculations, rather than unverified use of LLM outputs as ecological evidence.