CueRator: Agentic Search for Symbolic Rules to Adapt Frozen Multimodal Encoders

📄 arXiv: 2610.07868v1 📥 PDF

作者: Sunchan Park, Beomkwon Cho, Kyeongbo Kong

分类: cs.CV

发布日期: 2026-10-06

备注: 40 pages, 18 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出CueRator以解决多模态编码器适应性与泛化性之间的矛盾问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态编码器 决策规则发现 适应性学习 符号化泛化 音频-视觉事件感知

📋 核心要点

  1. 现有方法在适应性与对未见类别的泛化之间存在权衡，导致性能受限。
  2. CueRator通过搜索决策规则来适应冻结的多模态编码器，结合符号化泛化与轻量级政策。
  3. 在OV-AVEBench上，CueRator显著提升了性能，缩小了已见与未见类别的差距。

📝 摘要（中文）

大型语言模型代理已被用于搜索程序和方程等符号结构。我们提出了CueRator，一个政策感知的决策规则发现框架，通过搜索将跨模态相似性转化为预测的决策规则，从而适应冻结的对比多模态编码器。我们在开放词汇音频-视觉事件感知任务上验证了该方法，现有方法在适应性与对未见类别的泛化之间存在权衡。该框架将符号化的泛化与轻量级政策相结合，为每个视频预测其参数以实现适应性。在OV-AVEBench上，CueRator将总平均从57.8提高到60.2，未见类别性能从55.8提升至59.9，缩小了已见与未见之间的差距。消融实验表明，增益归因于公式和政策的结合，且两者的反馈信号对有效搜索是必要的。

🔬 方法详解

问题定义：本论文旨在解决现有多模态编码器在适应性与泛化性之间的矛盾。现有方法通常在适应性增强的同时牺牲了对未见类别的泛化能力，反之亦然。

核心思路：CueRator的核心思路是通过搜索决策规则，将跨模态相似性转化为预测，从而实现对冻结编码器的适应性。该方法结合了符号化的泛化与轻量级的政策，使得每个视频可以动态预测其参数。

技术框架：CueRator的整体架构包括一个符号化的决策规则发现模块和一个政策模块。首先，符号化模块离线发现决策规则，然后政策模块根据视频内容动态调整参数。

关键创新：CueRator的主要创新在于将符号化的泛化与政策学习相结合，形成了一种新的决策规则搜索机制。这一机制与传统方法的本质区别在于它能够在保持编码器冻结的情况下实现适应性。

关键设计：在设计上，CueRator使用了轻量级的政策网络来预测每个视频的参数，同时采用了特定的损失函数来优化决策规则的搜索过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CueRator在OV-AVEBench上的实验结果显示，总平均性能从57.8提升至60.2，未见类别性能从55.8提升至59.9，缩小了已见与未见类别之间的差距，从7.1降至1.2，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括音频-视觉事件识别、智能监控和人机交互等。通过提高多模态系统的适应性与泛化能力，CueRator能够在实际应用中提供更高的准确性和灵活性，推动相关技术的发展与应用。

📄 摘要（原文）

Large language model agents have been used to search over symbolic structures such as programs and equations. We propose CueRator, an agentic framework for policy-aware decision-rule discovery, which adapts frozen contrastive multimodal encoders by searching for the decision rule that converts their cross-modal similarities into predictions. We validate it on open-vocabulary audio-visual event perception, where existing methods involve a trade-off between adaptivity and generalization to unseen categories: trained modules adapt at the cost of generalization, and fixed rules the reverse. The framework pairs a symbolic formulation for generalization with a lightweight policy that predicts its parameters per video for adaptivity. A report-guided multi-agent loop discovers the formulation offline, evaluating each candidate on its expressive ceiling and on whether a trained policy can realize it. On OV-AVEBench, CueRator raises the total average from 57.8 to 60.2 and unseen-category performance from 55.8 to 59.9 over the best existing method, reducing the seen-unseen gap from 7.1 to 1.2. Ablations attribute the gains to both the formulation and the policy and show that both feedback signals are necessary for effective search. CueRator also improves over the respective baselines on two further audio-visual event perception tasks, and the discovered rule remains competitive across encoders with only the policy retrained. Code is available at https://github.com/cvsp-lab/cuerator.