From Association to Decision Value: Testing Paired Instruction Dependence for VLA Corpus Selection
作者: Nurmukhambet Serikbayev, Abdul Basit, Muhammad Shafique
分类: cs.AI
发布日期: 2026-10-21
备注: 23 Pages, under review of ICLR2027
💡 一句话要点
提出基于配对指令依赖的决策值评估方法以优化机器人示范选择
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人示范 语料选择 配对指令依赖 决策支持 预测模型
📋 核心要点
- 现有方法在选择机器人示范语料时，未能有效区分哪些候选者能产生更优的下游策略，导致性能评估不准确。
- 本文提出了一种基于配对指令依赖的评估方法，通过分析目标变化对决策的影响，来优化语料选择过程。
- 实验结果显示，该方法在降低平均绝对预测误差方面表现优异，尽管未能在增量选择上取得显著提升。
📝 摘要（中文）
在选择机器人示范语料时，本文将其视为一个排序问题，强调上游诊断应保留哪些候选者能产生更好的下游策略，而不仅仅是与平均性能相关。研究了配对指令依赖性，即当目标变化时，演示者的首次决策变化率。在136个独立种子的四足导航语料中，基于56个语料开发的预测在80个保留语料上进行了前瞻性评估。结果表明，该审计可靠且与下游配对正确性相关，且在加入正确性感知基线后降低了平均绝对预测误差。尽管主要的对数得分增量为+0.059 nats，但预设的前20%比较并未建立增量选择收益。探索性响应分解表明，预测排名不匹配的结构来源，激励了保留结果相关结构的诊断。
🔬 方法详解
问题定义：本文旨在解决在机器人示范语料选择中，如何有效评估候选者对下游策略的影响。现有方法往往仅关注平均性能，忽视了决策的细微变化。
核心思路：通过研究配对指令依赖性，分析在目标变化时演示者决策的变化，从而为语料选择提供更具预测性的依据。该方法强调保留决策相关的结构信息，以提高选择的准确性。
技术框架：整体流程包括数据收集、配对指令依赖性分析、预测模型构建及评估。首先，从136个独立种子中提取语料，然后基于56个语料训练预测模型，最后在80个保留语料上进行前瞻性评估。
关键创新：最重要的创新在于引入了配对指令依赖性作为评估标准，能够更好地捕捉决策变化的结构信息，与传统方法相比，提供了更具深度的分析视角。
关键设计：在模型设计中，采用了正确性感知的基线，并通过对比分析不同响应的影响，优化了参数设置和损失函数，以提升预测的准确性。实验中还进行了种子间一致性分析，以验证模型的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，加入配对指令依赖性分析后，平均绝对预测误差显著降低，主要对数得分增量为+0.059 nats，尽管在预设的前20%比较中未能实现显著增量选择收益。这表明该方法在提升预测准确性方面具有潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人学习、自动化决策系统和人机交互等。通过优化示范语料选择，可以提升机器人在复杂环境中的导航和决策能力，进而推动智能机器人技术的发展和应用。
📄 摘要（原文）
Choosing among robot demonstration corpora is a ranking problem: an upstream diagnostic must preserve which candidates produce better downstream policies, not merely correlate with average performance. We study paired instruction dependence, the rate at which a demonstrator changes its first decision when only the goal changes. Across 136 independently seeded quadruped-navigation corpora, predictions developed on 56 corpora are evaluated prospectively on 80 held-out corpora. The audit is reliable and associated with downstream paired correctness, and lowers mean absolute prediction error when added to a correctness-aware baseline, but the primary proper-log-score increment is +0.059 nats (95% corpus-bootstrap CI [-0.027, 0.133]) and the prespecified top-20% comparison does not establish an incremental selection gain. An exploratory response decomposition suggests a structural source of this predictive-ranking mismatch: under the tested predictor specification, separating both-correct and both-wrong responses yields larger held-out gains than their unsigned switch statistic. Seed-to-seed agreement indicates that the held-out endpoint retains recoverable rank signal. These results show that counterfactual response structure can be reliable and predictive while providing limited incremental decision value in this setting when compressed into an unsigned statistic, motivating diagnostics that preserve outcome-relevant structure and are validated against the decisions they are intended to support.