CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening

📄 arXiv: 2610.02972v1 📥 PDF

作者: Rupsa Roy

分类: cs.AI, stat.AP

发布日期: 2026-10-02

备注: 11 pages, 5 figures, 7 tables (Excluding Appendix). CreateScore Planner App GitHub repo link: https://github.com/rupsa-arc1-2441139/createscore

💡 一句话要点

提出CreateScore以优化LLM在简历筛选中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 贝叶斯网络 简历筛选 资源优化 决策支持 人力资源管理 自动化招聘

📋 核心要点

  1. 现有方法在简历筛选中应用高能力LLM的成本高昂，导致效率低下。
  2. CreateScore通过贝叶斯网络和有向无环图实现标准级LLM路由，优化决策过程。
  3. 在200份简历的实验中，77.7%的决策在本地解决，显著减少了资源消耗。

📝 摘要（中文）

大型语言模型（LLMs）可以支持基于评分标准的简历筛选，但对每位候选人和标准应用高能力模型的成本较高。本文提出CreateScore，一种基于领域理论的贝叶斯网络，用于标准级LLM路由。通过手动指定的有向无环图和Dirichlet-多项式条件概率表，将简历证据转化为后验不确定性；低不确定性决策由本地8B模型解决，而不确定的决策则升级至120B参考模型。该系统在200份合成数据科学简历上进行测试，结果显示77.7%的标准决策在本地解决，且相较于每个标准均由120B模型裁决的参考条件，路由升级减少了65.2%的令牌使用，并将精确评分一致性从32.8%提升至42.6%。

🔬 方法详解

问题定义：本文旨在解决在简历筛选中使用大型语言模型（LLMs）时的高成本和低效率问题。现有方法在每个候选人和标准上应用高能力模型，导致资源浪费和处理延迟。

核心思路：CreateScore通过构建一个基于领域理论的贝叶斯网络，利用有向无环图（DAG）来进行标准级LLM路由。该方法将简历证据转化为后验不确定性，低不确定性决策由本地小模型处理，而不确定决策则升级到更强大的模型。

技术框架：CreateScore的整体架构包括一个手动指定的有向无环图，结合Dirichlet-多项式条件概率表。系统首先评估简历证据的不确定性，然后根据设定的阈值决定是否升级到更强的模型。

关键创新：该研究的主要创新在于引入了基于不确定性信号的模型路由机制，显著降低了计算资源的使用，同时提高了决策一致性。与现有方法相比，CreateScore并不依赖于每个标准都使用高能力模型，而是通过分层处理优化了资源分配。

关键设计：在设计中，升级阈值是在训练集上进行校准的，目标是确保70%的决策能够在本地解决。此外，系统采用标准贝叶斯条件化，而非因果推断，确保了模型的可解释性和可靠性。实验中还发现，早期评估因输出被替换而失效，建议在级联评估中增加保护措施。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在200份合成数据科学简历的实验中，CreateScore实现了77.7%的标准决策在本地解决，较之于完全依赖120B模型的条件，令牌使用减少了65.2%。精确评分一致性从32.8%提升至42.6%，显示出显著的性能提升。

🎯 应用场景

CreateScore的潜在应用场景包括人力资源管理、招聘系统和自动化简历筛选工具。通过优化资源使用和提高决策效率，该方法能够显著降低招聘成本，并提升筛选过程的透明度和可审计性。未来，该技术可能扩展到其他领域的决策支持系统中。

📄 摘要（原文）

Large language models (LLMs) can support rubric-based screening of CVs, but applying a high-capability model to every candidate and criterion is costly. We present CreateScore, a domain-theory-informed Bayesian network for criterion-level LLM routing. A hand-specified directed acyclic graph with Dirichlet-multinomial conditional probability tables converts CV evidence into posterior uncertainty; low-uncertainty decisions are resolved by a local 8B model and uncertain ones are escalated to a 120B reference model. The graph is causally motivated, but the system performs standard Bayesian conditioning, not causal inference. The escalation threshold is calibrated on a training fold (target: 70% resolved locally) and then frozen. On 200 synthetic Data Science CVs (139 training and 61 test candidates, five criteria), 77.7% of criterion decisions were resolved locally (237 of 305). Relative to a reference condition in which the 120B model adjudicated every criterion, routed escalation reduced token use by 65.2% and raised exact score agreement from 32.8% (8B alone) to 42.6% (95% CI 31.0-55.1%); at n = 61 the gain was not statistically distinguishable. The uncertainty signal did not, however, identify the decisions on which the 8B model erred: disagreement with the reference was 16.2% among escalated and 19.4% among locally resolved decisions (AUROC 0.47, 95% CI 0.39-0.56), no better than random selection. We also document how an earlier evaluation was invalidated when truncated reasoning-model outputs were silently replaced by local labels, and we recommend safeguards for cascade evaluation. CreateScore is supported as an auditable cost-reduction mechanism, not yet as a targeted error detector, and is not an autonomous hiring system.