Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models

📄 arXiv: 2607.24562v1 📥 PDF

作者: Murilo Salem, Luísa Böhm, Daniel Pontes, Anderson Ferrugem

分类: cs.AI

发布日期: 2026-07-27

💡 一句话要点

提出HG-CRC以解决语言模型选择性预测中的风险控制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 选择性预测 风险控制 层次结构 Bonferroni校正 后处理校准 模型评估 公平性

📋 核心要点

  1. 现有的符合风险控制方法在处理异质人群时存在系统性错误暴露，无法保证每个子群体的风险控制。
  2. 论文提出HG-CRC框架，通过层次结构和Bonferroni校正实现对所有节点的风险保证，避免了对特定子群体的过度错误暴露。
  3. 实验结果显示，HG-CRC在ARC Challenge上实现了0%的违反率，且在多个模型和基准测试中表现出色，显著提升了选择性预测的可靠性。

📝 摘要（中文）

大型语言模型服务于由领域、主题难度和语言风格构成的异质人群。尽管现有的符合风险控制（CRC）为选择性预测提供了严格的边际风险保证，但这些保证并不适用于每个子群体。论文提出HG-CRC（层次组条件CRC），这是一个后处理校准框架，能够在用户定义的组层次结构的所有节点上强制执行同时风险保证。该方法只需一个保留的校准集，无需重新训练。实验表明，HG-CRC在高准确率模型上实现了0%的违反率，且在多个基准测试中表现优异。

🔬 方法详解

问题定义：论文要解决的问题是现有的符合风险控制方法在处理异质人群时，无法保证每个子群体的风险控制，导致某些子群体面临系统性错误暴露。现有方法在组组成轻微变化时，可能在高达47%的试验中违反预算。

核心思路：论文提出HG-CRC框架，通过在用户定义的组层次结构中实施Bonferroni校正和优先使用最具体的适用阈值，来实现对所有节点的同时风险保证。这种设计旨在确保即使在组组成变化的情况下，模型也能保持对各个子群体的风险控制。

技术框架：HG-CRC的整体架构包括后处理校准模块，利用保留的校准集进行风险控制。框架首先应用Bonferroni校正，然后根据层次结构从叶节点开始进行风险评估，必要时回退到更粗糙的节点。

关键创新：HG-CRC的主要创新在于其层次组条件的风险控制机制，能够在不同层次的节点上同时保证风险，解决了传统方法在子群体风险控制上的不足。与现有方法相比，HG-CRC能够有效降低特定子群体的错误暴露。

关键设计：该方法的关键设计包括使用Bonferroni校正来确保理论保证，以及在层次结构中优先使用最具体的阈值。此外，HG-CRC只需一个保留的校准集，无需对模型进行重新训练，极大地提高了实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ARC Challenge基准测试中，HG-CRC在高准确率模型（如Qwen3-4B和Llama-3.1-8B）上实现了0%的违反率，且在500次自助试验中，这一结果被视为经验上限（真实率高达0.6%）。与全球CRC相比，参与成本降低了22到37个百分点，显示出显著的性能提升。

🎯 应用场景

HG-CRC框架可广泛应用于需要选择性预测的领域，如自然语言处理、医疗诊断和金融决策等。通过确保各个子群体的风险控制，该方法能够提高模型在实际应用中的可靠性和公平性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models serve heterogeneous populations structured by domain, topic difficulty, and linguistic style. Conformal risk control (CRC) gives rigorous marginal risk guarantees for selective prediction with abstention, but marginal guarantees do not imply per-group ones: a model can meet the population budget while systematically over-exposing subgroups to errors. Under mild shift in group composition, standard CRC violates the budget in up to 47% of trials. We propose HG-CRC (Hierarchical Group-Conditional CRC), a post-hoc calibration framework enforcing simultaneous risk guarantees across all nodes of a user-defined group hierarchy. It applies a Bonferroni correction over nodes and a leaf-first policy that uses the most specific applicable threshold, falling back to coarser nodes when a finer one is uncertified or rejects the example. It needs only a held-out calibration set, with no retraining. We evaluate on three models (Qwen3-4B, Llama-3.1-8B-Instruct, Gemma-3-4B) and two benchmarks (ARC Challenge, MMLU-Pro) across eight configurations probing IID generalization, heterogeneity, mixture/domain/prompt/difficulty shift, label noise, and quantization. Main result: HG-CRC reaches an empirical 0% violation rate and WGER=0 on ARC Challenge for high-accuracy models (Qwen3-4B, Llama-3.1-8B). At 500 bootstrap trials these zeros are empirical upper bounds (true rate up to 0.6%), not certified. Results are benchmark-specific: on MMLU-Pro these models abstain entirely or (Llama) retain WGER=0.014. Gemma-3-4B, poorly calibrated here, degrades gracefully by abstaining. Participation cost vs. global CRC is 22 to 37 points. Ablations show hierarchical depth clears the budget: removing difficulty level returns violations to about 11%. Bonferroni is needed for the theoretical guarantee, though its empirical effect matters only with many nodes.