Generative Texture Filtering

📄 arXiv: 2604.19039v1 📥 PDF

作者: Rongjia Zheng, Shangwei Huang, Lei Zhu, Wei-Shi Zheng, Qing Zhang

分类: cs.CV

发布日期: 2026-04-21

备注: Accepted to SIGGRAPH 2026 conference track

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种生成式纹理滤波方法，利用预训练生成模型提升纹理去除效果。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 纹理滤波 生成模型 图像先验 深度学习 强化学习

📋 核心要点

  1. 现有纹理滤波方法在处理复杂纹理和保持图像结构方面存在不足，效果不佳。
  2. 利用预训练生成模型的强大图像先验知识，通过微调生成模型实现高质量的纹理滤波。
  3. 实验结果表明，该方法在纹理去除和结构保持方面优于现有方法，尤其是在处理复杂场景时。

📝 摘要（中文）

本文提出了一种生成式纹理滤波方法，该方法展现出令人惊讶的良好性能和泛化能力。其核心思想是充分利用预训练生成模型强大的图像先验知识来增强纹理滤波效果。为此，我们提出了一种两阶段策略来微调预训练的生成模型。具体而言，我们首先在一个非常小的配对图像集上进行监督微调，然后在大量未标记的数据集上，在奖励函数的指导下进行强化微调，该奖励函数量化了纹理去除和结构保留的质量。大量实验表明，我们的方法明显优于以前的方法，并且能够有效地处理以前具有挑战性的情况。代码已开源。

🔬 方法详解

问题定义：论文旨在解决图像中的纹理去除问题，同时保持图像的结构信息。现有的纹理滤波方法在处理复杂纹理时效果不佳，并且容易损失图像的细节结构，导致图像模糊或失真。

核心思路：论文的核心思路是利用预训练生成模型强大的图像先验知识。预训练生成模型已经学习了大量自然图像的分布，可以生成逼真的图像。通过微调这些模型，使其能够去除图像中的纹理，同时保持图像的结构信息，从而实现高质量的纹理滤波。

技术框架：该方法采用两阶段微调策略。第一阶段是监督微调，使用少量配对图像（原始图像和去除纹理后的图像）来微调预训练的生成模型，使其初步具备纹理去除的能力。第二阶段是强化微调，使用大量未标记的图像，通过一个奖励函数来指导模型的训练。奖励函数旨在量化纹理去除的程度和结构保持的程度，从而使模型能够更好地平衡纹理去除和结构保持。

关键创新：该方法最重要的创新点在于将预训练生成模型引入到纹理滤波任务中。与传统的基于手工特征或浅层学习的方法不同，该方法能够利用深度学习模型强大的表示能力和生成能力，从而实现更好的纹理滤波效果。此外，两阶段微调策略也能够有效地利用有标签和无标签数据，提高模型的泛化能力。

关键设计：奖励函数的设计是关键。奖励函数需要能够准确地量化纹理去除的程度和结构保持的程度。论文中使用的奖励函数可能包含多个项，例如，纹理区域的像素值方差、结构区域的梯度幅度等。此外，生成模型的选择和微调策略也会影响最终的滤波效果。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在纹理滤波任务上取得了显著的性能提升，超越了现有的方法。通过在多个数据集上进行实验，证明了该方法在处理复杂纹理和保持图像结构方面的优越性。具体的性能指标和提升幅度需要在论文中查找（未知）。

🎯 应用场景

该研究成果可应用于图像编辑、计算机视觉、医学图像处理等领域。例如，在图像编辑中，可以用于去除图像中的干扰纹理，提高图像的视觉质量。在医学图像处理中，可以用于去除医学图像中的噪声和伪影，提高诊断的准确性。该方法具有广泛的应用前景和实际价值。

📄 摘要（原文）

We present a generative method for texture filtering, which exhibits surprisingly good performance and generalizability. Our core idea is to empower texture filtering by taking full advantage of the strong learned image prior of pre-trained generative models. To this end, we propose to fine-tune a pre-trained generative model via a two-stage strategy. Specifically, we first conduct supervised fine-tuning on a very small set of paired images, and then perform reinforcement fine-tuning on a large-scale unlabeled dataset under the guidance of a reward function that quantifies the quality of texture removal and structure preservation. Extensive experiments show that our method clearly outperforms previous methods, and is effective to deal with previously challenging cases. Our code is available at https://github.com/OnlyZZZZ/Generative_Texture_Filtering.