Towards Task-Compatible Compressible Representations

📄 arXiv: 2405.10244v3 📥 PDF

作者: Anderson de Andrade, Ivan Bajić

分类: cs.CV, eess.SP

发布日期: 2024-05-16 (更新: 2024-07-15)

备注: Published in ICME Workshops 2024

💡 一句话要点

提出可压缩的任务兼容表示以解决多任务学习中的性能问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多任务学习 可学习压缩 表示学习 计算机视觉 图像重建 语义分割 深度学习

📋 核心要点

  1. 现有的多任务可学习压缩方法中，任务间表示的迁移效果不佳，导致性能未达预期。
  2. 论文提出了一种新的表示学习方法，通过引入预测的V-information框架来优化多任务间的表示兼容性。
  3. 实验结果表明，所提方法在图像重建和语义分割任务中显著提升了率失真性能，同时也改善了基础任务的表现。

📝 摘要（中文）

本文识别了多任务可学习压缩中的一个问题，即为一个任务学习的表示对另一个任务的率失真性能贡献不如预期。我们使用预测的$ ext{V}$-信息框架来解释这一问题。在可学习的可扩展编码中，之前的研究通过在学习共享表示时奖励输入重建，增加了侧信息的利用率。我们在输入重建的背景下更严格地评估了这一思想的影响，并将其扩展到其他计算机视觉任务。通过在COCO 2017上训练的物体检测和在Cityscapes数据集上的深度估计的表示，我们将其用于图像重建和语义分割任务。结果显示，辅助任务的率失真性能显著提高。此外，使用所提出的表示，基础任务的性能也得到了改善。结果表明，所提方法诱导了更简单的表示，更加兼容下游处理。

🔬 方法详解

问题定义：本文解决的是多任务学习中，任务间表示的迁移效果不佳的问题。现有方法在为某一任务学习的表示在其他任务中的率失真性能未能达到预期，导致信息利用不足。

核心思路：论文的核心思路是通过引入预测的$ ext{V}$-信息框架，优化任务间表示的兼容性，进而提升多任务学习的整体性能。通过奖励输入重建，增强共享表示的有效性。

技术框架：整体架构包括三个主要模块：1) 共享表示学习，2) 输入重建优化，3) 任务辅助性能提升。通过在不同任务上训练共享表示，评估其在输入重建和其他计算机视觉任务中的表现。

关键创新：最重要的技术创新点在于提出了一种新的表示学习方法，使得学习到的表示在多个任务间具有更好的兼容性。这与现有方法的本质区别在于，强调了表示的可压缩性与任务兼容性之间的平衡。

关键设计：在参数设置上，采用了特定的损失函数来平衡输入重建与任务性能的关系，网络结构上则使用了可扩展的编码器-解码器架构，以便于在不同任务中进行有效的表示学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用所提出的表示方法，辅助任务的率失真性能显著提高，具体提升幅度达到XX%（具体数据待补充）。此外，基础任务的性能也得到了改善，表明该方法在多任务学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的多任务学习、图像重建、语义分割等。通过优化任务间的表示兼容性，能够在实际应用中提高模型的效率和性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We identify an issue in multi-task learnable compression, in which a representation learned for one task does not positively contribute to the rate-distortion performance of a different task as much as expected, given the estimated amount of information available in it. We interpret this issue using the predictive $\mathcal{V}$-information framework. In learnable scalable coding, previous work increased the utilization of side-information for input reconstruction by also rewarding input reconstruction when learning this shared representation. We evaluate the impact of this idea in the context of input reconstruction more rigorously and extended it to other computer vision tasks. We perform experiments using representations trained for object detection on COCO 2017 and depth estimation on the Cityscapes dataset, and use them to assist in image reconstruction and semantic segmentation tasks. The results show considerable improvements in the rate-distortion performance of the assisted tasks. Moreover, using the proposed representations, the performance of the base tasks are also improved. Results suggest that the proposed method induces simpler representations that are more compatible with downstream processes.