An Agentic Evaluation Architecture for Historical Bias Detection in Educational Textbooks

📄 arXiv: 2604.07883v1 📥 PDF

作者: Gabriel Stefan, Adrian-Marius Dumitran

分类: cs.AI, cs.CL, cs.CY, cs.MA

发布日期: 2026-04-09

备注: Accepted for ITS(Intelligent Tutoring Systems) 2026 Full Paper

💡 一句话要点

提出Agentic评估架构，用于检测教育教科书中存在的历史偏见。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 历史偏见检测 教科书评估 Agentic架构 多Agent系统 源归属协议

📋 核心要点

  1. 历史教科书中的隐性偏见难以大规模检测，现有方法易产生误报。
  2. 提出Agentic评估架构，通过多Agent协同和源归属协议来减少误报。
  3. 实验表明，该架构能有效识别并减轻教科书中的偏见，且成本较低。

📝 摘要（中文）

历史教科书常包含隐性偏见、民族主义框架和选择性遗漏，难以大规模审核。本文提出一种Agentic评估架构，包含多模态筛选Agent、由五个评估Agent组成的异构陪审团以及用于裁决综合和人工升级的元Agent。核心贡献是源归属协议，区分教科书叙述和引用的历史来源，防止错误归因，避免单模型评估器中出现系统性误报。在罗马尼亚高中历史教科书的实证研究中，270个筛选摘录中有83.3％被归类为教学上可接受（平均严重程度2.9/7），而零样本基线下为5.4/7，表明Agentic审议减轻了过度惩罚。在盲人人工评估（18位评估员，54次比较）中，独立审议配置在64.8％的案例中优于启发式变体和零样本基线。以每本教科书约2美元的成本，这些结果将Agentic评估架构定位为教育治理方面经济上可行的决策支持工具。

🔬 方法详解

问题定义：该论文旨在解决历史教科书中存在的隐性偏见、民族主义框架和选择性遗漏难以大规模检测的问题。现有方法，特别是单模型评估器，容易将引用的历史来源中的内容错误归因于教科书作者的观点，从而导致系统性的误报，影响评估的准确性。

核心思路：论文的核心思路是采用Agentic评估架构，模拟人类专家团队的评估过程。通过多Agent协同工作，每个Agent从不同角度评估文本，并引入源归属协议来区分教科书叙述和引用的历史来源，从而减少误报，提高评估的准确性和可靠性。

技术框架：该架构包含三个主要模块：1) 多模态筛选Agent：用于初步筛选文本，识别可能存在偏见的段落。2) 异构陪审团：由五个评估Agent组成，每个Agent使用不同的评估标准和方法，独立评估筛选出的文本。3) 元Agent：负责综合陪审团的评估结果，生成最终裁决，并在必要时将评估结果升级到人工审核。

关键创新：该论文最重要的技术创新点是源归属协议。该协议能够区分教科书作者的叙述和引用的历史来源，避免将历史来源中的观点错误地归因于教科书作者，从而显著减少了单模型评估器中常见的系统性误报。

关键设计：五个评估Agent采用异构设计，可能使用不同的模型（例如，基于Transformer的模型、基于规则的系统等）和不同的评估指标（例如，偏见程度、民族主义倾向等）。元Agent的裁决综合方法可能包括加权平均、投票等策略，具体权重或策略的选择可能基于实验结果进行调整。具体参数设置和损失函数等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该Agentic评估架构在检测罗马尼亚高中历史教科书中的偏见方面表现出色。与零样本基线相比，该架构将教学上可接受的摘录比例从5.4%提高到83.3%。在人工评估中，独立审议配置在64.8%的案例中优于启发式变体和零样本基线。此外，该架构的评估成本约为每本教科书2美元，具有经济可行性。

🎯 应用场景

该研究成果可应用于教育治理领域，为教科书编写和审核提供决策支持工具。通过自动检测和评估教科书中的潜在偏见，有助于提高教材的质量，促进更客观、公正的历史教育。此外，该Agentic评估架构也可推广到其他文本评估场景，例如新闻报道、社交媒体内容等。

📄 摘要（原文）

History textbooks often contain implicit biases, nationalist framing, and selective omissions that are difficult to audit at scale. We propose an agentic evaluation architecture comprising a multimodal screening agent, a heterogeneous jury of five evaluative agents, and a meta-agent for verdict synthesis and human escalation. A central contribution is a Source Attribution Protocol that distinguishes textbook narrative from quoted historical sources, preventing the misattribution that causes systematic false positives in single-model evaluators. In an empirical study on Romanian upper-secondary history textbooks, 83.3\% of 270 screened excerpts were classified as pedagogically acceptable (mean severity 2.9/7), versus 5.4/7 under a zero-shot baseline, demonstrating that agentic deliberation mitigates over-penalization. In a blind human evaluation (18 evaluators, 54 comparisons), the Independent Deliberation configuration was preferred in 64.8\% of cases over both a heuristic variant and the zero-shot baseline. At approximately \$2 per textbook, these results position agentic evaluation architectures as economically viable decision-support tools for educational governance.