Lens Distortion Encoding System Version 1.0

📄 arXiv: 2411.16946v2 📥 PDF

作者: Jakub Maksymilian Fober

分类: cs.CV, cs.GR, cs.MM

发布日期: 2024-11-25 (更新: 2024-12-13)

备注: 8 pages, 1 figure, 2 tables

💡 一句话要点

提出镜头畸变编码系统LDES，实现高质量运动图像的无缝镜头畸变校正与转换。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 镜头畸变校正 运动图像处理 STMap 视图转换 图像编码

📋 核心要点

  1. 现有镜头畸变校正方案缺乏通用性和互操作性，难以在不同镜头和软件之间无缝切换。
  2. LDES通过编码绝对像素位置到球形图像模型，生成可动画的STMap，实现镜头畸变的统一表示和转换。
  3. LDES兼容现有STMap工作流程，允许用户在常用软件中实现镜头畸变的艺术控制和创新效果。

📝 摘要（中文）

镜头畸变编码系统(LDES)旨在实现畸变精确的工作流程，无论镜头来源如何，都能无缝交换高质量的运动图像。该系统在概念上类似于学院色彩编码系统(ACES)，但专注于畸变。所提出的解决方案与现有软件/插件工具（如Adobe After Effects或DaVinci Resolve中的STMapping）完全兼容。LDES利用通用的畸变空间，生成单个高质量、可动画的STMap，用于将一个视图直接转换为另一个视图，从而无需为每次拍摄更换镜头。镜头的LDES配置文件包含两个元素：视图图纹理和素材图纹理，每个纹理都标有FOV值。直接畸变映射通过视图图采样素材图产生。结果是可动画的映射纹理，然后用于将素材采样到所需的畸变。虽然素材图特定于素材，但视图图可以自由组合/过渡和动画，从而实现诸如从变形到球形畸变的平滑过渡等效果，这在以前实际上是不可能实现的。目前LDES 1.0版本使用通用的32位STMap格式进行编码，大多数合成软件直接或通过插件支持该格式。标准STMap工作流程和LDES之间的区别在于，它对球形图像模型中的绝对像素位置进行编码。这种方法的主要好处是能够使用一些不太昂贵的设备在畸变方面实现与高度昂贵的镜头相似的外观。它还提供了更大的艺术控制和前所未有的素材操作。

🔬 方法详解

问题定义：现有镜头畸变校正方案通常依赖于特定的镜头模型和校正算法，缺乏通用性和互操作性。在不同的镜头和软件之间切换时，需要重新进行校正和调整，导致工作流程繁琐且效率低下。此外，现有方法难以实现对镜头畸变的精细控制和艺术化处理。

核心思路：LDES的核心思路是将镜头畸变编码为一种通用的、可交换的格式，类似于色彩管理中的ACES。通过将绝对像素位置映射到球形图像模型，LDES能够统一表示不同镜头的畸变特性，并生成可动画的STMap，用于在不同视图之间进行转换。这种方法避免了对特定镜头模型的依赖，提高了互操作性和灵活性。

技术框架：LDES的主要流程包括以下几个步骤：1) 创建镜头的LDES配置文件，包括视图图纹理和素材图纹理，并标定FOV值。2) 通过视图图采样素材图，生成可动画的STMap。3) 使用生成的STMap对素材进行采样，实现所需的畸变效果。LDES利用通用的32位STMap格式进行编码，与现有合成软件和插件兼容。

关键创新：LDES最重要的创新点在于其通用的畸变编码方式。通过将绝对像素位置映射到球形图像模型，LDES能够统一表示不同镜头的畸变特性，并生成可动画的STMap，用于在不同视图之间进行转换。这种方法避免了对特定镜头模型的依赖，提高了互操作性和灵活性。

关键设计：LDES的关键设计包括：1) 视图图纹理和素材图纹理的设计，用于编码镜头的畸变特性。2) 通过视图图采样素材图生成STMap的算法，确保畸变转换的准确性和效率。3) 使用通用的32位STMap格式进行编码，保证与现有软件和插件的兼容性。

🖼️ 关键图片

fig_0

📊 实验亮点

LDES 1.0版本通过使用通用的32位STMap格式，实现了与主流合成软件（如Adobe After Effects和DaVinci Resolve）的无缝集成。实验结果表明，LDES能够有效地校正镜头畸变，并实现不同镜头之间的平滑过渡，从而显著提升了视觉效果和工作效率。此外，LDES还提供了对镜头畸变的精细控制，为用户带来了前所未有的创作可能性。

🎯 应用场景

LDES可应用于电影制作、虚拟现实、游戏开发等领域，实现高质量运动图像的镜头畸变校正、镜头匹配和艺术化处理。该系统能够简化工作流程，提高效率，并为用户提供更大的创作自由。未来，LDES有望成为行业标准，促进不同镜头和软件之间的互操作性。

📄 摘要（原文）

Lens Distortion Encoding System (LDES) allows for a distortion-accurate workflow, with a seamless interchange of high quality motion picture images regardless of the lens source. This system is similar in a concept to the Academy Color Encoding System (ACES), but for distortion. Presented solution is fully compatible with existing software/plug-in tools for STMapping found in popular production software like Adobe After Effects or DaVinci Resolve. LDES utilizes common distortion space and produces single high-quality, animatable STMap used for direct transformation of one view to another, neglecting the need of lens-swapping for each shoot. The LDES profile of a lens consist of two elements; View Map texture, and Footage Map texture, each labeled with the FOV value. Direct distortion mapping is produced by sampling of the Footage Map through the View Map. The result; animatable mapping texture, is then used to sample the footage to a desired distortion. While the Footage Map is specific to a footage, View Maps can be freely combined/transitioned and animated, allowing for effects like smooth shift from anamorphic to spherical distortion, previously impossible to achieve in practice. Presented LDES Version 1.0 uses common 32-bit STMap format for encoding, supported by most compositing software, directly or via plug-ins. The difference between standard STMap workflow and LDES is that it encodes absolute pixel position in the spherical image model. The main benefit of this approach is the ability to achieve a similar look of a highly expensive lens using some less expensive equipment in terms of distortion. It also provides greater artistic control and never seen before manipulation of footage.