GeoBS: Information-Theoretic Quantification of Geographic Bias in AI Models

📄 arXiv: 2509.23482v1 📥 PDF

作者: Zhangyu Wang, Nemin Wu, Qian Cao, Jiangnan Xia, Zeping Liu, Yiqun Xie, Akshay Nambi, Tanuja Ganu, Ni Lao, Ninghao Liu, Gengchen Mai

分类: cs.AI

发布日期: 2025-09-27

💡 一句话要点

提出GeoBS框架，通过信息论量化AI模型中的地理偏差，并考虑空间因素。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理偏差 信息论 AI公平性 空间分析 模型评估 GeoAI 基础模型

📋 核心要点

  1. 现有地理偏差量化方法依赖于特定模型或空间隐式，缺乏通用性和空间显式性，难以公平比较不同AI模型。
  2. GeoBS框架基于信息论，通过量化模型输出与地理空间信息之间的关联来评估地理偏差，具有模型无关性。
  3. 实验证明，GeoBS框架能够有效识别各种AI模型中的地理偏差，并揭示多尺度性、距离衰减和各向异性等空间因素的影响。

📝 摘要（中文）

人工智能模型，特别是基础模型（FMs）的广泛应用对许多领域产生了深远的影响。然而，这也引发了重大的伦理问题，包括偏差问题。尽管在量化和缓解AI模型中的社会偏差方面已经做出了许多努力，但地理偏差（简称geo-bias）受到的关注要少得多，这带来了独特的挑战。虽然之前的工作已经探索了量化geo-bias的方法，但这些方法是模型特定的（例如，LLM评分的平均绝对偏差）或空间隐式的（例如，所有空间分区的平均公平性得分）。我们缺乏一个模型无关、普遍适用且空间显式的geo-bias评估框架，该框架允许研究人员公平地比较不同AI模型的geo-bias，并了解哪些空间因素导致了geo-bias。在本文中，我们建立了一个用于geo-bias评估的信息论框架，称为GeoBS（Geo-Bias Scores）。我们通过展示如何在该框架下解释和分析现有的geo-bias度量来证明所提出框架的通用性。然后，我们提出了三种新的geo-bias评分，这些评分明确考虑了复杂的空间因素（多尺度性、距离衰减和各向异性）。最后，我们对3个任务、8个数据集和8个模型进行了广泛的实验，以证明特定于任务的GeoAI模型和通用基础模型都可能遭受各种类型的geo-bias。该框架不仅将促进对地理偏差的技术理解，还将为将空间公平性整合到AI系统的设计、部署和评估中奠定基础。

🔬 方法详解

问题定义：现有方法在量化AI模型中的地理偏差时，存在模型依赖性强、空间信息利用不足的问题。例如，某些方法仅适用于特定类型的模型（如LLM），或者无法明确地考虑空间因素（如距离衰减、各向异性等）对偏差的影响。这导致无法公平地比较不同AI模型的地理偏差，也难以深入理解偏差的成因。

核心思路：GeoBS的核心思路是利用信息论来量化AI模型输出与地理空间信息之间的关联程度。如果模型输出对某些地理区域表现出明显的偏好或差异，则认为该模型存在地理偏差。通过信息论的视角，可以将不同的地理偏差度量统一到一个框架下，并设计新的度量来显式地考虑空间因素。

技术框架：GeoBS框架包含以下几个主要步骤：1) 数据准备：收集包含地理位置信息的AI模型输入和输出数据。2) 空间划分：将地理空间划分为不同的区域（例如，网格、行政区划）。3) 信息量计算：计算模型输出在不同区域之间的信息量差异，例如，使用互信息、条件熵等指标。4) 偏差评分：根据信息量差异计算地理偏差评分，评分越高表示偏差越大。框架还支持自定义空间因素，如多尺度性、距离衰减和各向异性。

关键创新：GeoBS的关键创新在于：1) 模型无关性：该框架不依赖于特定的AI模型，可以用于评估各种类型的模型，包括GeoAI模型和通用基础模型。2) 空间显式性：该框架能够明确地考虑空间因素对地理偏差的影响，例如，通过引入距离衰减函数来模拟地理位置之间的相互作用。3) 信息论基础：该框架基于信息论，提供了一个统一的理论框架来理解和比较不同的地理偏差度量。

关键设计：GeoBS框架的关键设计包括：1) 多尺度空间划分：支持不同尺度的空间划分，以捕捉不同尺度的地理偏差。2) 距离衰减函数：引入距离衰减函数来模拟地理位置之间的相互作用，例如，使用高斯核函数。3) 各向异性建模：考虑不同方向上的空间依赖性，例如，使用方向相关的距离衰减函数。

📊 实验亮点

实验结果表明，GeoBS框架能够有效识别各种AI模型中的地理偏差。例如，在图像分类任务中，某些模型对特定地理区域的图像识别准确率明显偏低。通过引入考虑空间因素的GeoBS评分，可以更准确地量化这些偏差。实验还证明，特定于任务的GeoAI模型和通用基础模型都可能遭受各种类型的geo-bias。

🎯 应用场景

GeoBS框架可应用于评估和改进各种AI系统的空间公平性，例如，在城市规划、资源分配、环境监测等领域，可以利用GeoBS来识别和缓解AI模型中的地理偏差，从而确保决策的公平性和公正性。此外，该框架还可以用于评估不同AI模型的地理泛化能力，指导模型的选择和部署。

📄 摘要（原文）

The widespread adoption of AI models, especially foundation models (FMs), has made a profound impact on numerous domains. However, it also raises significant ethical concerns, including bias issues. Although numerous efforts have been made to quantify and mitigate social bias in AI models, geographic bias (in short, geo-bias) receives much less attention, which presents unique challenges. While previous work has explored ways to quantify geo-bias, these measures are model-specific (e.g., mean absolute deviation of LLM ratings) or spatially implicit (e.g., average fairness scores of all spatial partitions). We lack a model-agnostic, universally applicable, and spatially explicit geo-bias evaluation framework that allows researchers to fairly compare the geo-bias of different AI models and to understand what spatial factors contribute to the geo-bias. In this paper, we establish an information-theoretic framework for geo-bias evaluation, called GeoBS (Geo-Bias Scores). We demonstrate the generalizability of the proposed framework by showing how to interpret and analyze existing geo-bias measures under this framework. Then, we propose three novel geo-bias scores that explicitly take intricate spatial factors (multi-scalability, distance decay, and anisotropy) into consideration. Finally, we conduct extensive experiments on 3 tasks, 8 datasets, and 8 models to demonstrate that both task-specific GeoAI models and general-purpose foundation models may suffer from various types of geo-bias. This framework will not only advance the technical understanding of geographic bias but will also establish a foundation for integrating spatial fairness into the design, deployment, and evaluation of AI systems.