HoloCosm: Beyond Single-Metric Benchmark Compression Across Multiple Metrics

📄 arXiv: 2610.26714v1 📥 PDF

作者: Yupei Lin, Zhongzhan Huang, Junxin Li, Guoming Ling, Shanshan Zhong, Hefeng Wu, Yukai Shi, Liang Lin

分类: cs.CL

发布日期: 2026-10-19

💡 一句话要点

提出HoloCosm以解决多指标基准压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基准压缩 多指标评估 模型性能 样本选择 联合优化

📋 核心要点

  1. 现有基准压缩方法通常依赖单一指标，导致在多指标评估中性能不佳，样本选择无法有效保留其他指标的得分和排名。
  2. HoloCosm通过联合最小化多个指标的重构误差，并约束排名失真，提供了一种新的多指标压缩方法。
  3. 在15个基准配置的实验中，HoloCosm在80%压缩率下显著提升了性能，平均NMAE降低35.3%，Spearman相关性提高至0.915。

📝 摘要（中文）

基准压缩通过选择小样本集来降低评估成本。现有方法通常使用单一指标指导选择，但基准往往从多个维度评估模型。研究发现，不同指标之间的模型排名相关性较弱，表明它们捕捉了模型性能的不同方面。为了解决这一挑战，本文提出HoloCosm，旨在联合最小化多个指标的标准化得分重构误差，同时约束排名失真。实验表明，在80%的压缩率下，HoloCosm在多个基准配置中表现优于随机采样，显著降低了重构误差，并提高了Spearman相关性。

🔬 方法详解

问题定义：本文解决的问题是现有基准压缩方法在多指标评估中的不足，特别是单一指标选择导致的排名和得分失真。

核心思路：HoloCosm的核心思路是通过联合优化多个指标的得分重构误差，同时控制不同指标之间的排名失真，从而实现更有效的样本选择。

技术框架：HoloCosm的整体架构包括数据输入、指标选择、得分重构误差计算和排名约束模块。通过这些模块，系统能够在多个指标上进行优化。

关键创新：HoloCosm的主要创新在于其多指标联合优化策略，与传统单指标方法相比，能够更全面地反映模型性能，减少不同指标间的失真。

关键设计：在设计上，HoloCosm采用了特定的损失函数来平衡得分重构误差和排名失真，同时在网络结构上进行了优化，以适应多样本选择的需求。具体参数设置和网络结构细节将在代码中提供。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

HoloCosm在80%压缩率下的实验结果显示，平均NMAE从0.365降至0.236，最差组件NMAE从0.546降至0.330，Spearman相关性从0.884提升至0.915，显著优于随机采样和其他基线方法。

🎯 应用场景

HoloCosm的研究成果在多个领域具有潜在应用价值，包括自然语言处理、多模态学习和智能代理等。通过有效的基准压缩，研究人员和工程师可以在更少的样本上进行高效评估，从而节省计算资源和时间，推动模型开发的进程。

📄 摘要（原文）

Benchmark compression reduces evaluation cost by selecting a small set of samples. Existing methods typically guide selection using a single metric, although benchmarks often assess models along multiple dimensions. We find that model rankings are often weakly correlated across metrics, indicating that different metrics capture distinct aspects of model performance. Samples selected for one metric do not reliably preserve scores and rankings on others when used for compressed evaluation. At 80\% compression, each of the five single-metric baselines yields higher reconstruction error than equal-size random sampling in over 70\% of cross-metric comparisons. To address this challenge, we present HoloCosm, which jointly minimizes normalized score-reconstruction error across source models and metrics while constraining ranking distortion. We evaluate HoloCosm across multiple compression rates on 15 language, multimodal, VLA, and agent benchmark configurations with 85 component metrics. With 80\% compression, HoloCosm outperforms Random, the strongest baseline overall: average NMAE drops by 35.3\% to 0.236, worst-component NMAE drops by 39.5\% to 0.330, and average Spearman correlation rises from 0.884 to 0.915. In addition, HoloCosm remains competitive with existing baselines in single-metric evaluation. We will release our code and experimental results.