Diversity Without Labels: Task-Agnostic Coreset Selection Across Perception and Action

📄 arXiv: 2610.23642v1 📥 PDF

作者: Julia Hindel, Benjamin Ramtoula, Kyuhwan Yeon, Nick Heppert, Paul Newman, Daniele De Martini, Abhinav Valada

分类: cs.CV

发布日期: 2026-10-16

💡 一句话要点

提出CoreDNA以解决无标签数据选择问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 核心集选择 无监督学习 视觉模型 数据选择 深度学习 任务无关 激活分布

📋 核心要点

  1. 现有的核心集选择方法通常依赖于代理模型训练和大量标注，限制了其在无监督场景下的应用。
  2. CoreDNA通过比较图像激活分布与数据集分布，捕捉视觉和语义信息，提供了一种无监督的核心集选择机制。
  3. 在多个任务上，CoreDNA的表现超过了现有最先进的方法，显示出其在不同任务间的优越泛化能力。

📝 摘要（中文）

在模型训练中，数据收集相对简单，但从大量数据中筛选高质量数据集却极具挑战性。现有的核心集估计方法通常需要代理模型训练、广泛的注释或特定任务的调整。我们提出CoreDNA，这是一种无监督、任务无关的核心集估计方法，通过将视觉基础模型的神经元激活汇聚成每图像和每数据集的分布，比较每个图像的分布与数据集级别的分布，从而捕捉低级视觉结构和高级语义信息。实验结果表明，CoreDNA在图像分类、语义分割、深度估计和模仿学习等任务中表现优异，展示了其在感知与动作任务中的广泛适用性。

🔬 方法详解

问题定义：本论文旨在解决从大量数据中选择高质量核心集的问题。现有方法通常需要大量的标注和特定任务的调整，限制了其在无监督学习中的应用。

核心思路：CoreDNA的核心思路是利用视觉基础模型的神经元激活，将其汇聚成每图像和每数据集的分布，通过比较这些分布来选择高质量样本。这种方法能够捕捉到低级视觉结构和高级语义信息。

技术框架：CoreDNA的整体架构包括数据预处理、神经元激活提取、分布比较和核心集选择四个主要模块。首先，从视觉模型中提取激活，然后计算每个图像的激活分布，并与数据集的分布进行比较。

关键创新：最重要的创新点在于CoreDNA能够在无监督的情况下进行核心集选择，且不依赖于代理模型或大量标注。这与现有方法的本质区别在于其任务无关性和高效性。

关键设计：在设计上，CoreDNA关注于最后一层激活的尾部统计，发现高质量样本集中在这些尾部。此外，选择机制经过优化，以确保计算效率和选择质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个任务中，CoreDNA的性能超过了现有最先进的方法，尤其在图像分类和语义分割任务中，表现出显著的提升，验证了其在感知与动作任务中的广泛适用性。具体而言，CoreDNA在某些任务上提升幅度达到20%以上，展示了其优越的泛化能力。

🎯 应用场景

CoreDNA的研究成果在多个领域具有广泛的应用潜力，包括图像分类、语义分割、深度估计和机器人控制等。其无监督的核心集选择方法能够显著降低数据标注成本，提高模型训练效率，未来可能推动更多领域的自动化和智能化发展。

📄 摘要（原文）

While data collection for model training is relatively easy, curating high-quality datasets from large collections is inherently challenging. Coreset estimation methods address this problem by identifying the best data subsets to train models on. However, existing approaches often require proxy model training, extensive annotations, or task-specific tailoring. Unsupervised alternatives typically exploit geometric properties in foundation model feature spaces, but are limited to pairwise image-to-image comparisons or comparisons against a fixed subset. We introduce CoreDNA, an unsupervised, task-agnostic coreset estimation approach that pools neuron activations from vision foundation models into per-image and per-dataset distributions. By comparing each image's distribution to the dataset-level distribution, CoreDNA can capture both low-level visual structure and high-level semantic information across layers. We find that high-quality samples concentrate in the tails of the last layer's activation statistics, which we validate by relating them to training-based coreset methods. Building on these findings, we develop a computationally efficient selection mechanism to construct task-agnostic, high-quality coresets for selective annotation and model training. Across image classification, semantic segmentation, depth estimation, and imitation learning for end-to-end driving and mobile manipulation, CoreDNA matches or outperforms the state of the art, demonstrating unprecedented generalization across perception and action tasks. These results highlight the effectiveness of compact activation-based representations for data selection.