HakemBench: A Turkish Benchmark of Typed Decisions
作者: Sait Furkan Teke
分类: cs.CL
发布日期: 2026-10-01
备注: 9 pages including references. Data, harness, scorer and board: https://huggingface.co/datasets/ufakai/HakemBench, https://github.com/ufakai/hakembench
💡 一句话要点
提出HakemBench基准以评估土耳其语言决策模型的性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 土耳其语处理 决策模型 基准评估 自然语言处理 机器学习
📋 核心要点
- 现有的决策模型在处理复杂文本和多选项问题时，缺乏有效的评估标准，尤其是在土耳其语环境下。
- 论文提出了HakemBench基准，通过多维度评分系统评估模型在不同领域的决策能力，提供了丰富的测试数据。
- 实验结果显示，领先模型的综合得分为0.888，而实验室自有模型得分为0.660，展示了基准的有效性和模型间的性能差异。
📝 摘要（中文）
HakemBench是一个土耳其语的类型决策基准，模型在此基准中读取文本、问题和固定选项集，并为每个选项返回概率。版本1.0完全开放，包含2346个项目和4275个选择、是/否和评分问题，涵盖七个领域（事实核查、教育、守护、法律路由、内容审核、垃圾邮件与网络钓鱼、客户支持）。该基准通过几何平均结合决策质量、校准和选择性自动化的评分，并报告了多种实验结果。大部分金标准标签来自于一个AI模型家族的盲评，与其他模型家族的大型语言模型投票结果进行比较，未经过人类验证。
🔬 方法详解
问题定义：论文旨在解决现有土耳其语决策模型评估标准不足的问题，尤其是在多选项和复杂文本理解方面的挑战。
核心思路：通过构建HakemBench基准，提供多维度的决策质量、校准和选择性自动化评分，帮助研究者更全面地评估模型性能。
技术框架：整体架构包括数据集构建、模型评分和结果分析三个主要模块。数据集包含多种类型的问题和选项，评分系统结合了宏F1、标准化Brier分数和风险覆盖曲线等指标。
关键创新：最重要的创新在于引入了多维度评分机制，尤其是通过几何平均结合不同评分指标，提供更全面的模型评估视角。
关键设计：在参数设置上，采用了标准化的评分方法，损失函数设计考虑了多种决策场景，确保模型在不同任务中的适应性和准确性。实验中使用的金标准标签主要来自于AI模型的盲评，确保了评估的客观性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，领先模型在HakemBench基准上的综合得分为0.888，而实验室自有模型得分为0.660，表明该基准有效区分了不同模型的性能。此外，基准还探讨了选项顺序、释义和翻译对决策质量的影响。
🎯 应用场景
HakemBench基准的潜在应用场景包括教育、法律、内容审核等领域，能够为相关决策模型的开发和优化提供可靠的评估工具。未来，该基准有助于推动土耳其语自然语言处理技术的发展，提升模型在实际应用中的表现。
📄 摘要（原文）
HakemBench is a Turkish benchmark of typed decisions, in which the model under test reads a text, a question and a fixed set of options and returns a probability for every option. Version 1.0 is released fully open under CC BY 4.0, with 2,346 items and 4,275 choice, yes/no and score questions in seven tracks (fact-check triage, education, guardrails, legal routing, moderation, spam and phishing, and customer support). One harness scores decision quality (macro F1), calibration (from the normalised Brier score) and selective automation (from the normalised area under the generalised risk-coverage curve), combines them by a geometric mean and reports intervals from 2,000 bootstrap draws; probes for option order, paraphrase, English translation and substituted names are reported alongside. Most gold labels come from blind passes of one AI model family compared with the votes of a panel of large language models from other model families; they are not human-verified. On a board of 16 rows the leader scores a composite of 0.888 and the lab's own model is 7th at 0.660. Its numbers are not blind. Earlier runs' test results shaped its training data, so its guardrail, moderation and customer support numbers are flagged; with every model scored on the other four tracks only, its composite is 0.678, 6th of 16.