Align Anything: Training All-Modality Models to Follow Instructions with Language Feedback
作者: Jiaming Ji, Jiayi Zhou, Hantao Lou, Boyuan Chen, Donghai Hong, Xuyao Wang, Wenqi Chen, Kaile Wang, Rui Pan, Jiahao Li, Mohan Wang, Josef Dai, Tianyi Qiu, Hua Xu, Dong Li, Weipeng Chen, Jun Song, Bo Zheng, Yaodong Yang
分类: cs.AI, cs.CL
发布日期: 2024-12-20 (更新: 2024-12-30)
🔗 代码/项目: GITHUB
💡 一句话要点
提出Align-Anything框架，利用语言反馈对齐多模态模型与人类意图
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 指令跟随 人类反馈 强化学习 跨模态对齐
📋 核心要点
- 现有方法缺乏大规模多模态人类偏好数据，难以对齐多模态模型与人类意图，尤其是在复杂场景下。
- Align-Anything框架通过构建多模态偏好数据集和统一语言反馈学习方法，有效对齐模型与人类意图。
- Eval-Anything评估框架验证了Align-Anything框架的有效性，提升了多模态模型的指令跟随能力。
📝 摘要（中文）
本文针对跨模态领域中，如何使多模态模型（任意模态输入输出）的行为与人类意图对齐这一难题，进行了首次探索。由于缺乏大规模多模态人类偏好数据，以及复杂场景下二元偏好在RLHF中的有效性未知，同时缺乏对多模态模型能力（模态选择和协同）的系统评估框架，本文提出了Align-Anything框架。该框架包含精心标注的20万多模态人类偏好数据，并引入了一种从统一语言反馈中学习的对齐方法，有效捕捉模态特定的人类偏好，增强模型指令跟随能力。此外，构建了Eval-Anything评估框架，用于评估对齐后多模态模型的能力提升。所有数据、模型和代码框架均已开源。
🔬 方法详解
问题定义：现有的大语言模型指令跟随能力主要集中在文本和图像模态，缺乏对多模态（文本、图像、音频、视频等）数据的统一处理和对齐。现有的RLHF方法在多模态场景下，尤其是复杂场景中，其二元偏好反馈的有效性有待验证。此外，缺乏系统性的多模态模型能力评估框架，难以衡量模型在模态选择和协同方面的性能。
核心思路：本文的核心思路是构建一个包含多模态人类偏好数据的数据集，并利用统一的语言反馈来学习人类的偏好，从而对齐多模态模型与人类意图。通过语言作为统一的桥梁，可以更好地捕捉不同模态之间的复杂关系，并指导模型的行为。
技术框架：Align-Anything框架主要包含三个部分：1) 构建大规模多模态人类偏好数据集；2) 提出基于统一语言反馈的对齐方法；3) 构建多模态能力评估框架Eval-Anything。首先，收集并标注包含文本、图像、音频和视频等多种模态的数据，形成20万规模的偏好数据集。然后，利用语言模型学习人类对不同模态组合的偏好，并将其作为反馈信号来训练多模态模型。最后，通过Eval-Anything评估模型在模态选择、协同和指令跟随等方面的能力。
关键创新：本文最重要的创新点在于提出了一个端到端的框架，能够利用人类偏好数据对齐任意模态输入输出的多模态模型。与以往专注于特定模态的对齐方法不同，Align-Anything能够处理各种模态的组合，并利用统一的语言反馈来学习人类的偏好。此外，Eval-Anything评估框架的构建也填补了多模态模型能力评估方面的空白。
关键设计：在数据标注方面，采用了pairwise比较的方式，让人类对不同模态组合的输出进行偏好选择，并给出相应的语言解释。在模型训练方面，利用语言模型学习人类的偏好，并将其作为奖励信号来优化多模态模型的参数。具体而言，可以使用Transformer架构的模型，并采用对比学习或强化学习的方法进行训练。损失函数的设计需要考虑人类偏好的排序关系，例如可以使用pairwise ranking loss。
🖼️ 关键图片
📊 实验亮点
本文构建了包含20万条数据的多模态人类偏好数据集，并提出了基于统一语言反馈的对齐方法。实验结果表明，经过Align-Anything框架训练的多模态模型在指令跟随能力方面取得了显著提升。Eval-Anything评估框架的测试结果也验证了模型在模态选择和协同方面的性能提升。
🎯 应用场景
该研究成果可广泛应用于多模态智能助手、跨模态内容生成、智能教育、医疗诊断等领域。例如，智能助手可以根据用户的语音指令和图像输入，生成相应的文本回复或视频内容。在医疗领域，医生可以通过输入医学影像和病人口述，辅助诊断病情。该研究为构建更智能、更人性化的多模态人工智能系统奠定了基础。
📄 摘要（原文）
Reinforcement learning from human feedback (RLHF) has proven effective in enhancing the instruction-following capabilities of large language models; however, it remains underexplored in the cross-modality domain. As the number of modalities increases, aligning all-modality models with human intentions -- such as instruction following -- becomes a pressing challenge. In this work, we make the first attempt to fine-tune all-modality models (i.e. input and output with any modality, also named any-to-any models) using human preference data across all modalities (including text, image, audio, and video), ensuring its behavior aligns with human intentions. This endeavor presents several challenges. First, there is no large-scale all-modality human preference data in existing open-source resources, as most datasets are limited to specific modalities, predominantly text and image. Secondly, the effectiveness of binary preferences in RLHF for post-training alignment in complex all-modality scenarios remains an unexplored area. Finally, there is a lack of a systematic framework to evaluate the capabilities of all-modality models, particularly regarding modality selection and synergy. To address these challenges, we propose the align-anything framework, which includes meticulously annotated 200k all-modality human preference data. Then, we introduce an alignment method that learns from unified language feedback, effectively capturing complex modality-specific human preferences and enhancing the model's instruction-following capabilities. Furthermore, to assess performance improvements in all-modality models after post-training alignment, we construct a challenging all-modality capability evaluation framework -- eval-anything. All data, models, and code frameworks have been open-sourced for the community. For more details, please refer to https://github.com/PKU-Alignment/align-anything.