Think-Reflect-Revise: A Policy-Guided Reflective Framework for Safety Alignment in Large Vision Language Models

📄 arXiv: 2512.07141v1 📥 PDF

作者: Fenghua Weng, Chaochao Lu, Xia Hu, Wenqi Shao, Wenjie Wang

分类: cs.CV, cs.CL

发布日期: 2025-12-08

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出TRR框架，通过策略引导自反思提升大型视觉语言模型的安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型视觉语言模型 安全性对齐 自反思 策略引导 强化学习

📋 核心要点

  1. 现有LVLM安全方法采用单次推理，易受攻击，忽略自身输出的有害内容。
  2. TRR框架通过思考、反思、修改三阶段，利用策略引导自反思进行安全对齐。
  3. 实验表明，TRR显著提升LVLM在安全基准和越狱攻击中的安全性能，同时保持通用性能。

📝 摘要（中文）

随着大型视觉语言模型(LVLMs)多模态推理能力的提升，近期的研究开始探索面向安全性的推理，旨在通过在生成最终回复前分析推理过程中潜在的安全风险来增强安全意识。尽管这些方法提高了安全意识和可解释性，但这种单次思考-回答模式仍然容易受到上下文或视觉越狱攻击。这揭示了一个关键缺陷：单次推理可能忽略其自身输出中明显的有害内容。我们的关键洞察是利用通过反思来利用这种被浪费的信号，这可以有效地利用首次推理中揭示的恶意内容，从而实现真正的自我纠正并防止不安全的生成。受此启发，我们提出了Think-Reflect-Revise (TRR)，这是一个三阶段训练框架，旨在通过策略引导的自我反思来增强LVLM的安全性对齐。我们首先构建了一个包含5,000个示例的反思性安全推理(ReSafe)数据集，这些示例遵循思考-反思-修改过程。然后，我们使用ReSafe数据集对目标模型进行微调以初始化反思行为，最后通过强化学习来加强策略引导的反思。实验结果表明，TRR显著提高了LVLM在安全意识基准和越狱攻击评估中的安全性能，在Qwen2.5-VL-7B上将整体安全响应率从42.8%提高到87.7%，同时保持了MMMU和MMStar等通用基准上的稳定性能。

🔬 方法详解

问题定义：现有的大型视觉语言模型（LVLMs）在安全性方面存在不足，容易受到对抗性攻击（如越狱攻击），导致生成不安全或有害的内容。传统的单次推理方法无法有效识别和纠正自身输出中存在的安全问题，缺乏自我反思和修正的能力。

核心思路：论文的核心思路是引入一个反思机制，使LVLM能够审视自身的输出，识别潜在的安全风险，并进行修正。通过模仿人类的思考-反思-修改过程，模型可以更好地理解和应对安全挑战。这种方法旨在利用模型在首次推理中暴露的恶意内容，从而实现真正的自我纠正。

技术框架：TRR框架包含三个主要阶段： 1. 思考（Think）：LVLM首先对输入进行推理，生成初步的输出。 2. 反思（Reflect）：模型分析自身的输出，识别潜在的安全问题或有害内容。这一阶段使用策略引导的反思机制，鼓励模型主动寻找并标记不安全的部分。 3. 修改（Revise）：基于反思的结果，模型对输出进行修改，消除安全风险，生成最终的安全回复。

关键创新：该论文的关键创新在于引入了策略引导的自反思机制，使LVLM能够主动识别和纠正自身输出中的安全问题。与传统的单次推理方法相比，TRR框架能够更好地利用模型自身的知识和能力，实现更有效的安全对齐。此外，ReSafe数据集的构建也为训练和评估反思性安全推理提供了基础。

关键设计： 1. ReSafe数据集：包含5000个示例，每个示例都包含思考、反思和修改三个阶段的文本，用于训练模型的反思能力。 2. 策略引导：使用强化学习来训练一个策略网络，指导模型在反思阶段识别和标记不安全的内容。策略网络的目标是最大化安全回复的概率，同时最小化有害内容的生成。 3. 损失函数：使用交叉熵损失函数来训练模型生成安全的回复，并使用强化学习奖励函数来鼓励模型进行有效的反思和修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TRR框架在Qwen2.5-VL-7B模型上将安全响应率从42.8%显著提升至87.7%。同时，该方法在MMMU和MMStar等通用基准上保持了稳定的性能，表明在提升安全性的同时，没有牺牲模型的通用能力。这些结果验证了TRR框架在提高LVLM安全性方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要安全保障的视觉语言模型应用场景，例如智能客服、内容审核、教育辅助等。通过提高LVLM的安全性，可以减少有害信息的传播，保护用户免受潜在风险，并促进人工智能技术的健康发展。未来，该方法可以扩展到其他模态和任务，进一步提升AI系统的安全性和可靠性。

📄 摘要（原文）

As multimodal reasoning improves the overall capabilities of Large Vision Language Models (LVLMs), recent studies have begun to explore safety-oriented reasoning, aiming to enhance safety awareness by analyzing potential safety risks during the reasoning process before generating the final response. Although such approaches improve safety awareness and interpretability, this single-pass think-then-answer paradigm remains vulnerable to contextual or visual jailbreak attacks. This reveals a critical flaw: single-pass reasoning may overlook explicit harmful content in its own output. Our key insight is to exploit this wasted signal through reflection, which can effectively leverage the malicious content revealed in the first-pass reasoning to enable genuine self-correction and prevent unsafe generations. Motivated by this, we propose Think-Reflect-Revise (TRR), a three-stage training framework designed to enhance the safety alignment of LVLMs through policy-guided self-reflection. We first build a Reflective Safety Reasoning (ReSafe) dataset with 5,000 examples that follow a think-reflect-revise process. We then fine-tune the target model using the ReSafe dataset to initialize reflective behavior, and finally reinforce policy-guided reflection through reinforcement learning. Experimental results show that TRR substantially improves the safety performance of LVLMs across both safety-awareness benchmarks and jailbreak attack evaluations, increasing the overall safe response rate from 42.8% to 87.7% on Qwen2.5-VL-7B, while preserving stable performance on general benchmarks such as MMMU and MMStar. The project page is available at https://think-reflect-revise.github.io/.