IndicEval: A Bilingual Indian Educational Evaluation Framework for Large Language Models

📄 arXiv: 2602.16467v1 📥 PDF

作者: Saurabh Bharti, Gaurav Azad, Abhinaw Jagtap, Nachiket Tapas

分类: cs.CL, cs.AI

发布日期: 2026-02-18

💡 一句话要点

IndicEval：一个双语印度教育评估框架，用于评估大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 教育评估 双语评估 印度考试 Chain-of-Thought Zero-Shot学习 Few-Shot学习

📋 核心要点

  1. 现有LLM评估缺乏真实学术场景的严谨性和多语言复杂性，难以准确衡量模型在实际教育场景中的能力。
  2. IndicEval利用印度高 stakes 考试题（UPSC、JEE、NEET）构建双语（英语/印地语）评估基准，更贴近实际应用。
  3. 实验表明，CoT提示能显著提升模型推理准确性，但模型间性能差异大，多语言能力仍有待提高。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展需要能够反映真实学术严谨性和多语言复杂性的评估框架。本文介绍了IndicEval，这是一个可扩展的基准测试平台，旨在利用来自UPSC、JEE和NEET的真实高风险考试题来评估LLM在英语和印地语的STEM和人文领域的表现。与合成基准不同，IndicEval将评估建立在真实的考试标准之上，从而能够真实地衡量推理、领域知识和双语适应性。该框架使用Zero-Shot、Few-Shot和Chain-of-Thought（CoT）提示策略自动进行评估，并支持新模型和语言的模块化集成。对Gemini 2.0 Flash、GPT-4、Claude和LLaMA 3-70B进行的实验揭示了三个主要发现。首先，CoT提示始终提高推理准确性，并在科目和语言方面都有显著提高。其次，模型之间仍然存在显著的性能差异，尤其是在高复杂性考试中。第三，多语言退化仍然是一个关键挑战，与英语相比，印地语的准确性明显下降，尤其是在Zero-Shot条件下。这些结果突出了双语推理和领域迁移方面持续存在的差距。总的来说，IndicEval为在多语言教育环境中对LLM进行严格、公平的评估提供了一个面向实践、可扩展的基础，并为提高推理鲁棒性和语言适应性提供了可操作的见解。

🔬 方法详解

问题定义：论文旨在解决现有LLM评估方法无法有效衡量模型在真实教育场景下，特别是多语言环境中的推理和领域知识能力的问题。现有方法，如合成基准测试，与实际考试标准存在差距，难以准确评估模型在复杂问题解决和跨语言理解方面的表现。

核心思路：论文的核心思路是构建一个基于真实考试题目的评估框架，即IndicEval，以更贴近实际应用场景的方式评估LLM。通过使用来自印度高风险考试的题目，并支持英语和印地语两种语言，IndicEval能够更全面地衡量模型的推理能力、领域知识和双语适应性。

技术框架：IndicEval框架包含以下主要模块：1) 数据收集模块，负责收集来自UPSC、JEE和NEET等考试的题目；2) 预处理模块，对题目进行清洗和格式化；3) 评估模块，使用Zero-Shot、Few-Shot和Chain-of-Thought (CoT) 等提示策略评估LLM；4) 结果分析模块，对评估结果进行统计分析和可视化。该框架支持模块化集成新的模型和语言。

关键创新：IndicEval的关键创新在于其评估数据的真实性和评估框架的可扩展性。与传统的合成基准测试相比，IndicEval使用真实的考试题目，能够更准确地反映模型在实际应用中的表现。此外，该框架支持模块化集成，方便添加新的模型和语言，使其能够适应不断发展的LLM技术。

关键设计：IndicEval的关键设计包括：1) 题目选择：选择来自不同科目和难度级别的题目，以全面评估模型的知识和推理能力；2) 提示策略：采用Zero-Shot、Few-Shot和CoT等不同的提示策略，以探索不同提示方式对模型性能的影响；3) 评估指标：使用准确率等指标来衡量模型的性能，并进行统计显著性分析。

📊 实验亮点

实验结果表明，CoT提示策略能够显著提升LLM在IndicEval上的推理准确性，尤其是在复杂题目和印地语环境下。例如，GPT-4在CoT提示下的表现明显优于Zero-Shot，准确率提升幅度超过10%。然而，不同模型之间的性能差异仍然显著，且多语言能力仍有待提高，印地语环境下的准确率普遍低于英语。

🎯 应用场景

IndicEval可用于评估和改进LLM在教育领域的应用，例如智能辅导系统、自动阅卷系统和个性化学习平台。通过该框架，可以更准确地了解LLM在处理真实教育场景问题的能力，从而指导模型优化和应用开发，最终提升教育质量和效率。此外，该框架的多语言支持也使其在多语言教育环境中具有广泛的应用前景。

📄 摘要（原文）

The rapid advancement of large language models (LLMs) necessitates evaluation frameworks that reflect real-world academic rigor and multilingual complexity. This paper introduces IndicEval, a scalable benchmarking platform designed to assess LLM performance using authentic high-stakes examination questions from UPSC, JEE, and NEET across STEM and humanities domains in both English and Hindi. Unlike synthetic benchmarks, IndicEval grounds evaluation in real examination standards, enabling realistic measurement of reasoning, domain knowledge, and bilingual adaptability. The framework automates assessment using Zero-Shot, Few-Shot, and Chain-of-Thought (CoT) prompting strategies and supports modular integration of new models and languages. Experiments conducted on Gemini 2.0 Flash, GPT-4, Claude, and LLaMA 3-70B reveal three major findings. First, CoT prompting consistently improves reasoning accuracy, with substantial gains across subjects and languages. Second, significant cross-model performance disparities persist, particularly in high-complexity examinations. Third, multilingual degradation remains a critical challenge, with marked accuracy drops in Hindi compared to English, especially under Zero-Shot conditions. These results highlight persistent gaps in bilingual reasoning and domain transfer. Overall, IndicEval provides a practice-oriented, extensible foundation for rigorous, equitable evaluation of LLMs in multilingual educational settings and offers actionable insights for improving reasoning robustness and language adaptability.