BLIP3-o – 由Salesforce Research等多个组织共同推出的先进多模态模型解析

BLIP3-o是什么

BLIP3-o是Salesforce Research等机构推出的创新多模态模型，融合自回归模型的推理和指令遵循能力及扩散模型的强大生成能力。模型基于扩散语义丰富的CLIP图像特征，不依靠传统的VAE特征或原始像素，在图像理解和生成方面表现出色。BLIP3-o用一种顺序预训练策略，先进行图像理解训练，再进行图像生成训练，保留图像理解能力发展强大的图像生成能力。模型在多个图像理解和生成基准测试中取得优异的成绩，且完全开源，包括代码、模型权重、预训练和指令调整数据集。

BLIP3-o的主要功能

文本到文本：生成与图像相关的描述性文本。
图像到文本：对输入的图像进行理解生成描述性文本，支持多种图像理解任务，如视觉问答（VQA）和图像分类。
文本到图像：根据输入的文本描述生成高质量的图像。
图像到图像：对输入的图像进行编辑和修改，生成新的图像。
混合训练：支持图像生成和理解任务的混合训练，提高模型的综合性能。

BLIP3-o的技术原理

自回归模型与扩散模型的结合：自回归模型生成中间视觉特征，捕捉文本描述中的语义信息。扩散模型生成最终的图像。扩散模型基于逐步去除噪声生成图像，生成高质量且多样化的图像。
CLIP特征扩散：用CLIP模型对图像进行编码，生成语义丰富的特征向量。特征向量比传统的VAE特征更紧凑且信息量更大。基于扩散模型对CLIP特征进行建模，生成与目标图像特征相似的特征向量，实现高质量的图像生成。
顺序预训练策略：首先对模型进行图像理解任务的预训练，确保模型具备强大的图像理解能力。在图像理解预训练的基础上，冻结自回归模型的权重，仅对扩散模型进行训练，实现高效的图像生成。
流匹配损失函数：用流匹配损失函数训练扩散模型，损失函数能更好地捕捉图像特征的分布，生成更高质量的图像。流匹配损失函数引入随机性，让模型能生成多样化的图像，不仅仅是单一的输出。
指令调整数据集：基于GPT-4o生成的多样化提示，创建一个包含60k高质量提示图像对的数据集，用在微调模型，提高指令遵循能力和视觉审美质量。