Model Correlation Detection via Random Selection Probing

📄 arXiv: 2509.24171v1 📥 PDF

作者: Ruibo Chen, Sheng Zhang, Yihan Wu, Tong Zheng, Peihua Mai, Heng Huang

分类: cs.LG

发布日期: 2025-09-29

💡 一句话要点

提出随机选择探测方法以解决模型相关性检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型相关性检测 随机选择探测 统计检验 大语言模型 视觉语言模型 可转移性评估 假阳性控制

📋 核心要点

  1. 现有的模型相关性检测方法通常依赖于模型参数或启发式评分，缺乏严格的统计基础，限制了其应用。
  2. 本文提出的随机选择探测（RSP）框架将模型相关性检测视为统计检验，通过优化参考模型的前缀来评估目标模型的可转移性。
  3. 实验结果显示，RSP在相关模型上 consistently yields 小p值，而在无关模型上保持高p值，验证了其有效性和稳健性。

📝 摘要（中文）

随着大语言模型（LLMs）和视觉语言模型（VLMs）的广泛应用，可靠的模型相关性检测技术变得愈发重要。现有的相似性方法往往需要访问模型参数或产生启发式评分，缺乏严格的阈值，限制了其适用性。本文提出了一种名为随机选择探测（RSP）的假设检验框架，将模型相关性检测形式化为统计检验。RSP通过优化参考模型的文本或视觉前缀进行随机选择任务，并评估其在目标模型上的可转移性，从而生成量化相关性的严格p值。为减少假阳性，RSP引入无关基线模型以过滤通用的可转移特征。实验表明，RSP在多种访问条件下对LLMs和VLMs均表现出色，相关模型的p值较小，而无关模型的p值较高，验证了RSP的稳健性。

🔬 方法详解

问题定义：本文旨在解决模型相关性检测的问题，现有方法往往需要访问模型参数或产生不够严谨的评分，导致应用受限。

核心思路：随机选择探测（RSP）框架通过将模型相关性检测形式化为统计检验，优化参考模型的前缀以评估其在目标模型上的可转移性，从而生成严格的p值。

技术框架：RSP的整体架构包括两个主要模块：优化模块和评估模块。优化模块负责生成参考模型的文本或视觉前缀，评估模块则计算这些前缀在目标模型上的转移效果并生成p值。

关键创新：RSP是首个基于统计检验的模型相关性检测框架，提供了透明和可解释的决策过程，区别于传统的启发式方法。

关键设计：RSP引入了无关基线模型以过滤通用特征，设置了严格的p值阈值来判断模型相关性，确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RSP在相关模型上 consistently yields 小p值（例如，p < 0.01），而在无关模型上保持高p值（例如，p > 0.9），显示出其在模型相关性检测中的有效性和稳健性。大量的消融实验进一步验证了RSP的可靠性。

🎯 应用场景

该研究的潜在应用领域包括模型验证、模型选择和安全性检测等。通过提供一种透明且可解释的模型相关性检测方法，RSP能够帮助研究人员和工程师在现代机器学习生态系统中做出更明智的决策，提升模型的安全性和可靠性。

📄 摘要（原文）

The growing prevalence of large language models (LLMs) and vision-language models (VLMs) has heightened the need for reliable techniques to determine whether a model has been fine-tuned from or is even identical to another. Existing similarity-based methods often require access to model parameters or produce heuristic scores without principled thresholds, limiting their applicability. We introduce Random Selection Probing (RSP), a hypothesis-testing framework that formulates model correlation detection as a statistical test. RSP optimizes textual or visual prefixes on a reference model for a random selection task and evaluates their transferability to a target model, producing rigorous p-values that quantify evidence of correlation. To mitigate false positives, RSP incorporates an unrelated baseline model to filter out generic, transferable features. We evaluate RSP across both LLMs and VLMs under diverse access conditions for reference models and test models. Experiments on fine-tuned and open-source models show that RSP consistently yields small p-values for related models while maintaining high p-values for unrelated ones. Extensive ablation studies further demonstrate the robustness of RSP. These results establish RSP as the first principled and general statistical framework for model correlation detection, enabling transparent and interpretable decisions in modern machine learning ecosystems.