Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels
作者: Youxing LI
分类: cs.CV, cs.AI
发布日期: 2026-10-06
💡 一句话要点
提出PixelTriage以优化多模态助手的记忆检索效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态助手 记忆检索 像素贡献预测 信息优化 智能助手
📋 核心要点
- 现有的多模态助手在处理长时记忆图像时，面临检索后信息传递效率低的问题，尤其是像素信息的利用率不高。
- 论文提出了PixelTriage插件，通过分析对话和缩略图，预测哪些记忆的像素对回答最有价值，从而优化信息传递。
- 实验结果表明，PixelTriage在准确性和速度上均优于传统方法，使用更少的视觉标记且提升了回答速度。
📝 摘要（中文）
多模态助手通过长时记忆中的图像回答问题。检索后，每个图像以像素或文本代理的形式传递给回答模型。研究发现，像素的优势通常来自一两个检索的记忆，并且可以在回答模型运行之前进行预测。PixelTriage是一个插件，通过对话、简短笔记和缩略图进行分析，预测每个记忆的像素对回答的贡献。该模型在合成记忆情节上进行训练，使用7B的回答模型，PixelTriage在准确性和成本之间取得了良好的平衡，使用11-23%的视觉标记而不显著降低准确性，并在DMV上比打开所有图像快2.9倍。
🔬 方法详解
问题定义：论文旨在解决多模态助手在回答问题时，如何有效利用长时记忆中的图像信息。现有方法在检索后，像素信息的利用率低，导致回答效率低下。
核心思路：论文提出的PixelTriage插件通过分析对话内容、简短笔记和缩略图，预测哪些检索到的记忆的像素信息对回答最有帮助，从而在不读取完整图像的情况下优化信息利用。
技术框架：PixelTriage作为一个插件，位于检索后，主要模块包括对话分析、记忆评估和像素贡献预测。该模型不生成文本，而是专注于评估视觉信息的价值。
关键创新：最重要的创新在于能够在回答模型运行之前，预测像素信息的贡献，从而避免不必要的计算。这一方法与现有的依赖于完整图像的处理方式有本质区别。
关键设计：模型在合成记忆情节上进行训练，使用一个冻结的27B模型作为基准，评估每个记忆的像素与文本的贡献。参数设置和损失函数经过精心设计，以确保在使用11-23%的视觉标记时，准确性不显著下降。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PixelTriage在准确性和速度上均优于传统方法，使用11-23%的视觉标记而不显著降低准确性，并在DMV数据集上比打开所有图像快2.9倍，展示了其在多模态信息处理中的优势。
🎯 应用场景
该研究的潜在应用领域包括智能助手、在线客服和教育工具等，能够显著提升多模态系统在处理复杂查询时的效率和准确性。未来，PixelTriage可能会被广泛应用于需要快速响应和高效信息检索的场景中。
📄 摘要（原文）
Multimodal assistants answer questions from long-term memories that contain images. After retrieval, each retrieved image reaches the answering model either as pixels, at about a thousand visual tokens per image, or as a stored text proxy that often misses the detail the question asks about. We find that the benefit of pixels usually comes from one or two retrieved memories, and that it can be predicted before the answering model runs, without reading any full-resolution image. In PixelTriage, a plug-in placed after retrieval, a small model that does not generate text reads the dialogue, a short note and a thumbnail of each retrieved memory and predicts how much its pixels would add. It is trained on synthetic memory episodes labeled by a frozen 27B model that answers each question with and without each memory's pixels. With a 7B answering model, PixelTriage lies on the accuracy--cost frontier of M$^3$Exam, DMV and MemEye and uses 11--23\% of the visual tokens without a significant loss of accuracy. On DMV it answers 2.9 times faster than opening all images. It outperforms retrieval order and uniform down-sizing at equal budgets and transfers to other memory systems and to a 397B answering model.