Tree-of-Thoughts Reasoning for Text-to-Image In-Context Learning

📄 arXiv: 2607.07117v1 📥 PDF

作者: Stepanida Alekseeva, Jenifer Kalafatovich, Seong-Whan Lee

分类: cs.CV, cs.AI

发布日期: 2026-07-08

备注: 6 pages, 3 figures, 4 tables. Accepted at IEEE SMC 2026. Code available at https://github.com/Pandastep/ToT-T2I-ICL

💡 一句话要点

提出树状思维推理框架以解决文本到图像的上下文学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像生成 多模态学习 组合推理 树状思维 上下文学习 深度学习

📋 核心要点

  1. 现有的多模态大型语言模型在文本到图像的上下文学习中面临组合推理能力不足和提示构造敏感的问题。
  2. 本文提出树状思维推理框架，通过多阶段推理和选择机制来生成和评估多个候选假设，从而构建最终的图像合成提示。
  3. 实验结果表明，所提出的方法在CoBSAT基准上实现了更一致和语义对齐的图像生成，相较于基线和链式思维策略有显著提升。

📝 摘要（中文）

在文本到图像的上下文学习（T2I-ICL）中，模型需要从少量示例中推断潜在的组合模式以生成查询图像。近期研究表明，现有的多模态大型语言模型在此设置下表现不佳，尤其是在组合推理能力有限和对提示构造敏感方面。本文提出了一种树状思维（ToT）推理框架，采用多阶段推理和选择层，在生成、评估和选择多个候选假设后构建最终的图像合成提示。通过探索替代推理分支并选择一致的解释，该方法减轻了提示模糊性和组合错误。我们在完整的ToT-T2IICL推理管道中实现了该方法，并在CoBSAT基准上进行了评估。定性和定量结果表明，与基线和链式思维提示策略相比，结构化的多分支推理导致了更一致和语义对齐的图像生成，且无需额外训练或微调。

🔬 方法详解

问题定义：本文旨在解决文本到图像的上下文学习中，现有多模态大型语言模型在组合推理和提示构造方面的不足。现有方法往往无法有效推断潜在的组合模式，导致生成的图像质量不高。

核心思路：论文提出的树状思维推理框架通过多阶段推理和选择机制，生成、评估并选择多个候选假设，以构建最终的图像合成提示。这种设计旨在减少提示的模糊性和组合错误，提高生成图像的质量。

技术框架：整体架构包括多个主要模块：首先是生成阶段，模型生成多个候选假设；接着是评估阶段，对候选假设进行评估；最后是选择阶段，从中选择最优的假设构建最终提示。

关键创新：最重要的技术创新点在于引入了多分支推理机制，使得模型能够探索不同的推理路径并选择最一致的解释。这与现有的单一推理路径方法形成了本质区别。

关键设计：在实现过程中，关键参数设置和损失函数的设计确保了多分支推理的有效性。此外，网络结构经过优化，以支持高效的候选假设生成和评估。具体细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的树状思维推理框架在CoBSAT基准上实现了显著提升，生成的图像在一致性和语义对齐方面优于基线和链式思维提示策略，具体提升幅度未明确给出，但定性和定量结果均表明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、艺术创作、广告设计等。通过提高文本到图像生成的质量，能够为创意产业提供更高效的工具，推动相关领域的发展。未来，该框架也可能扩展到其他多模态学习任务中，具有广泛的实际价值。

📄 摘要（原文）

In text-to-image in-context learning (T2I-ICL), a model has to infer a latent compositional pattern from fewshot demonstrations for generating a query image. Recent studies show that state-of-the-art multimodal large language models struggle with this setting, particularly due to limited compositional reasoning and sensitivity to prompt construction. In this work, we propose a Tree-of-Thoughts (ToT) reasoning framework for T2I-ICL that introduces a multi-stage reasoning and selection layer that generates, evaluates, and selects among multiple candidate hypotheses before constructing the final prompt for image synthesis. By exploring alternative reasoning branches and selecting a coherent interpretation, the proposed approach mitigates prompt ambiguity and compositional errors. We implement the proposed approach in a complete ToT-T2IICL inference pipeline and evaluate it on the CoBSAT benchmark. Both qualitative and quantitative results show that structured multi-branch reasoning leads to more consistent and semantically aligned image generation compared to baseline and Chain-of-Thought prompting strategies, without any additional training or fine-tuning.