Efficient Neural Network Encoding for 3D Color Lookup Tables

📄 arXiv: 2412.15438v1 📥 PDF

作者: Vahid Zehtab, David B. Lindell, Marcus A. Brubaker, Michael S. Brown

分类: cs.CV, cs.AI, cs.LG, eess.IV

发布日期: 2024-12-19

备注: 14 pages, 13 figures; extended version; to appear in AAAI 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出高效神经网络编码以压缩3D颜色查找表

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 3D颜色查找表 神经网络 颜色处理 内存优化 图像重建

📋 核心要点

  1. 现有的3D颜色查找表在存储和处理多个LUT时面临高内存开销的问题，影响了其在实际应用中的效率。
  2. 本文提出了一种新的神经网络架构，能够在低于0.25MB的内存占用下，编码和重建多个LUT，显著提高了存储效率。
  3. 实验结果表明，该网络能够在重建LUT时保持较低的颜色失真，且在自然图像处理上表现出更优的质量提升。

📝 摘要（中文）

3D颜色查找表（LUTs）通过将输入RGB值映射到特定输出RGB值，实现精确的颜色处理。尽管单个LUT的内存开销不高，但软件和设备可能需要存储数十到数百个LUT，总体内存需求可超过100MB。本文旨在开发一种神经网络架构，能够在单一紧凑表示中编码数百个LUT。我们提出的模型内存占用低于0.25MB，能够重建512个LUT，且颜色失真仅为轻微（$arΔE_M$ $ ext{≤}$ 2.0）。此外，我们的网络能够加权颜色，从而在自然图像颜色上进一步提升质量（$arΔ{E}_M$ $ ext{≤}$ 1.0）。最后，通过对网络架构的轻微修改，我们实现了双射编码，生成可逆的LUT，支持反向颜色处理。代码可在https://github.com/vahidzee/ennelut获取。

🔬 方法详解

问题定义：本文要解决的问题是如何在不牺牲颜色质量的前提下，压缩存储多个3D颜色查找表（LUTs），以降低内存需求。现有方法在处理多个LUT时，通常需要占用大量内存，限制了其在实际应用中的灵活性和效率。

核心思路：论文提出了一种神经网络架构，通过学习将多个LUT编码为一个紧凑的表示，从而实现高效存储和快速重建。该设计旨在减少内存占用，同时保持颜色重建的精度。

技术框架：整体架构包括输入层、编码层和解码层。输入层接收RGB值，编码层通过神经网络将其映射到低维表示，解码层则将低维表示重建为目标RGB值。模型经过训练以最小化重建误差。

关键创新：最重要的技术创新在于提出了一种新的编码方式，使得网络能够在保持较低内存占用的同时，重建多个LUT，且实现了可逆的LUT生成。这一方法与传统的存储方式相比，显著提高了存储效率和处理速度。

关键设计：在网络设计中，采用了特定的损失函数以优化颜色重建的精度，并通过加权机制提升自然图像的颜色质量。网络结构经过精心设计，以确保在低内存占用下仍能有效学习和重建颜色映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的神经网络模型能够在低于0.25MB的内存占用下重建512个LUT，且颜色失真保持在$arΔE_M$ $ ext{≤}$ 2.0。此外，通过加权处理，自然图像的颜色质量提升至$arΔ{E}_M$ $ ext{≤}$ 1.0，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括视频编辑、摄影后期处理、计算机图形学以及显示器的颜色处理等。通过降低LUT的存储需求，能够使得相关软件和设备在处理颜色时更加高效，提升用户体验。未来，该技术有望在实时图像处理和增强现实等领域发挥重要作用。

📄 摘要（原文）

3D color lookup tables (LUTs) enable precise color manipulation by mapping input RGB values to specific output RGB values. 3D LUTs are instrumental in various applications, including video editing, in-camera processing, photographic filters, computer graphics, and color processing for displays. While an individual LUT does not incur a high memory overhead, software and devices may need to store dozens to hundreds of LUTs that can take over 100 MB. This work aims to develop a neural network architecture that can encode hundreds of LUTs in a single compact representation. To this end, we propose a model with a memory footprint of less than 0.25 MB that can reconstruct 512 LUTs with only minor color distortion ($\barΔE_M$ $\leq$ 2.0) over the entire color gamut. We also show that our network can weight colors to provide further quality gains on natural image colors ($\barΔ{E}_M$ $\leq$ 1.0). Finally, we show that minor modifications to the network architecture enable a bijective encoding that produces LUTs that are invertible, allowing for reverse color processing. Our code is available at https://github.com/vahidzee/ennelut.