Multimodal Conditioning of Fine-Tuned Stable Diffusion XL for Controllable and Culturally Faithful Ulos Motif Generation

📄 arXiv: 2609.17987v1 📥 PDF

作者: Humasak Simanjuntak, Tamara Yunika Sianipar, Bronson T. M Siallagan, Difya Laurensya Ambarita, Arlinta Barus

分类: cs.AI

发布日期: 2026-09-16

备注: C. Anutariya, M.M. Bonsangue, M.N. Mahrin (eds.) "Proceedings of the 4th International Conference on Data Science and Artificial Intelligence (DSAI 2026)", Kuala Lumpur, Malaysia, November 12-13, 2026, in volume 3251 of Communications in Computer and Information Science, Springer, November 2026

💡 一句话要点

提出多模态生成框架以解决传统巴塔克乌洛斯图案设计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 潜在扩散模型 文化遗产保护 图案设计 机器学习

📋 核心要点

  1. 传统的手工设计方法限制了巴塔克乌洛斯图案的多样性和创新性，导致行业面临挑战。
  2. 本研究提出了一种多模态生成框架，结合潜在扩散模型和大语言模型，实现可控的乌洛斯图案生成。
  3. 实验结果显示，文本+图像+语义图组合在FID和CLIP得分上表现最佳，且用户接受度显著提高。

📝 摘要（中文）

传统的巴塔克乌洛斯编织行业面临着由于手工设计方法的局限性而导致的多样性和创新性不足的挑战。本研究提出了一种多模态生成框架，结合了经过微调的潜在扩散模型（Stable Diffusion XL v1.0 via LoRA）与多模态大语言模型（LLaMA 1.5-7B），以实现可控且文化忠实的乌洛斯图案生成。通过文本、图像、表示和语义图（通过ControlNet）四种互补的条件机制共同指导生成过程。五级消融研究表明，条件机制的有效性并不总是与组合机制的数量成正比，最终开发了一个支持文本到图像和图像到图像生成的网络原型，为文化遗产保护提供了实用的数字设计工具。

🔬 方法详解

问题定义：本论文旨在解决传统巴塔克乌洛斯编织行业在图案设计上的多样性和创新性不足的问题。现有的手工设计方法难以满足现代需求，导致图案设计的局限性。

核心思路：论文提出了一种多模态生成框架，通过结合潜在扩散模型和大语言模型，利用多种条件机制来引导图案生成，以实现可控且文化忠实的设计。

技术框架：整体架构包括四个主要模块：文本输入、图像输入、表示输入和语义图输入（通过ControlNet），每个模块负责不同的生成方面。生成过程通过这些模块的协同作用来实现。

关键创新：最重要的技术创新在于提出了四种互补的条件机制，能够从语义意图到空间布局等多个方面共同引导生成过程。这种设计与现有方法的本质区别在于其多模态的整合能力。

关键设计：在实验中，采用了不同的参数设置和损失函数，以优化生成效果。特别是在消融研究中，分析了不同条件组合对生成质量的影响，确保了模型的稳定性和生成的多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，文本+图像+语义图组合在FID（270）和CLIP得分（0.65 - 0.70）上表现最佳，而文本+图像+表示组合则在SSIM（0.84）上表现优异。用户接受度通过Wilcoxon检验显示出显著性差异（p=0.007和p<0.001），验证了生成结果的文化适应性。

🎯 应用场景

该研究的潜在应用领域包括文化遗产保护、数字艺术创作和时尚设计等。通过提供一个可控的图案生成工具，能够帮助设计师在保持文化传统的同时，创造出具有现代感的作品，促进文化的传承与创新。

📄 摘要（原文）

The traditional Batak Ulos weaving industry faces growing challenges in producing diverse, innovative motifs due to limitations in conventional, manually driven design methods. This study proposes a multimodal generative framework integrating a fine-tuned Latent Diffusion Model (Stable Diffusion XL v1.0 via LoRA) with a Multimodal Large Language Model (LLaMA 1.5-7B) to enable controllable, culturally faithful Ulos motif generation. Four complementary conditioning mechanisms: text, image, representation, and semantic map (via ControlNet) jointly guide the generation process, each governing a distinct aspect from semantic intent to spatial layout. A five level ablation study across three scenarios (shape transformation, colour variation, and high-complexity input) shows that conditioning effectiveness is not proportional to the number of mechanisms combined: Text + Image + Semantic Map achieved the best FID (270) and CLIP Score (0.65 - 0.70) but the weakest SSIM (0.65), while Text + Image + Representation offered the best overall balance, with stable SSIM (0.84) and competitive FID (280). Combining all four mechanisms yielded the weakest FID (330), indicating conflicting optimization signals. Qualitative evaluation by nine weavers and thirty public participants confirmed statistically significant positive acceptance (Wilcoxon, p=0.007 and p<0.001, respectively). A web-based prototype supporting text-to-image and image-to-image generation was also developed, offering a practical digital design tool for cultural heritage preservation.