多模态AI核心技术：CLIP与SigLIP技术原理与应用进展

近年来，人工智能领域在多模态表示学习方面取得了显著进展，这类模型通过统一框架理解并整合不同数据类型间的语义信息，特别是图像与文本之间的关联性。在此领域具有里程碑意义的模型包括OpenAI提出的CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训练）和Google研发的SigLIP（Sigmoid Loss for Language-Image Pre-training，用于语言-图像预训练的Sigmoid损失）。这些模型重新定义了计算机视觉与自然语言处理的交互范式，实现了从图像分类到零样本学习等多种高级应用能力。本文将从技术层面分析CLIP和SigLIP的架构设计、训练方法及其主要差异，并探讨它们在多模态大型语言模型中的应用价值。

CLIP：对比语言-图像预训练（2021）

CLIP由OpenAI于2021年发布，是一个开创性的多模态模型，其核心创新在于学习在统一嵌入空间中对齐图像和文本表示。与传统依赖特定任务标注数据集的监督学习方法不同，CLIP采用对比学习目标，使模型能够在无需任务特定微调的情况下泛化到广泛的下游应用场景。

CLIP架构

CLIP由两个主要组件构成：

图像编码器：一个视觉特征提取模型，通常采用Vision Transformer (ViT)或ResNet等卷积神经网络架构，将图像转换为固定维度的向量表示。

文本编码器：一个基于Transformer的语言模型（结构类似于BERT或GPT），将文本描述编码为与图像嵌入相同维度的向量表示。

这两个编码器经过精心设计，将图像和文本映射到同一潜在语义空间，在该空间中，语义相关的配对（例如，一张狗的图片和描述"一张狗的照片"）在向量空间中的距离较近，而不相关的配对则相距较远。

CLIP训练目标

CLIP在从互联网收集的大规模图像-文本对数据集（约4亿对）上进行预训练。其训练过程采用了受InfoNCE（Noise Contrastive Estimation，噪声对比估计）启发的对比损失函数。对于一个包含N个图像-文本对的批次：

• 系统计算所有N × N组合的图像和文本嵌入之间的余弦相似度。
• 优化目标是最大化N个正确（匹配）对之间的相似度，同时最小化N² - N个不正确（非匹配）对之间的相似度。
• 这一目标通过优化相似度分数上的对称交叉熵损失来实现。

从数学角度，对于一个批次中的图像嵌入{I₁,I₂,...,I__N}和文本嵌入{T₁,T₂,...,T__N}，图像到文本方向的损失函数表示为：

模型同时计算图像到文本和文本到图像两个方向的损失，最终的总损失是这两者的平均值。其中，τ是控制分布软度的温度参数。这种对称公式设计确保两种模态（图像和文本）得到联合优化，从而有效对齐它们的表示空间。

CLIP零样本能力

CLIP的核心优势在于其卓越的零样本学习能力。在预训练完成后，CLIP可以通过构建文本提示（例如，"一张[类别]的照片"）并比较输入图像嵌入与各可能类别的文本嵌入来执行图像分类等任务，而无需任何特定任务的训练数据。

零样本CLIP模型相较于标准ImageNet模型表现出更强的分布偏移鲁棒性。（左图）理想的鲁棒模型（虚线）应在ImageNet分布和其他自然图像分布上表现一致。零样本CLIP模型将这种"鲁棒性差距"最多缩小了75%。图中展示的是在logit变换值上的线性拟合结果，附带自助法估计的95%置信区间。（右图）可视化展示了香蕉类别的分布偏移情况，该类别在7个自然分布偏移数据集中的5个中共同存在。图中比较了性能最佳的零样本CLIP模型ViT-L/14@336px与在ImageNet验证集上具有相同性能水平的ResNet-101。

SigLIP：用于语言-图像预训练的Sigmoid损失（2023）

SigLIP由Google Research团队开发，在CLIP建立的基础架构上引入了训练目标的关键性创新。与CLIP使用基于softmax的对比损失不同，SigLIP采用了成对的sigmoid损失函数，这一改进简化了训练流程并提高了计算效率和模型性能，尤其是在处理超大规模数据集时表现更为突出。

SigLIP架构

SigLIP保持了与CLIP相似的双编码器架构设计：

• 图像编码器：通常采用Vision Transformer或其他先进的视觉骨干网络。
• 文本编码器：基于transformer架构的语言模型。

这种架构设计在很大程度上独立于特定编码器的选择，为在不同应用场景中进行扩展或适应提供了灵活性。

SigLIP训练目标

SigLIP与CLIP的核心区别在于用基于sigmoid的损失函数替代了对比损失机制。对于一个包含N个图像-文本对的批次：

• 每一对(Iᵢ, Tᵢ)被视为一个正样本，目标标签为1。
• 所有其他组合(Iᵢ, Tⱼ)，其中i ≠ j，被视为负样本，目标标签为0。

模型计算每个可能对的余弦相似度Iᵢ ⋅ Tⱼ，并应用sigmoid函数将这些相似度分数转换为表示给定图像-文本对匹配概率的值。然后，损失函数被定义为预测概率与相应目标标签之间的二元交叉熵，其数学表达式为：

这种成对公式化方法消除了在整个批次范围内进行归一化的需求，这是CLIP基于softmax的对比损失所必需的。通过这种改进，SigLIP简化了计算过程并增强了训练稳定性，特别是在扩展到更大批量大小的场景中。

SigLIP的优势

SigLIP相较于CLIP具有以下几个关键优势：

• 计算效率：sigmoid损失解耦了样本对之间的损失计算，与CLIP的批次范围归一化相比，实现了更高度的并行性并减少了内存开销。
• 鲁棒性：SigLIP在具有挑战性的数据集上展现出更优的性能表现，这可能源于其能够更有效地处理噪声数据或不平衡分布。
• 可扩展性：简化的损失函数设计使模型能够在更大规模数据集上进行有效训练，如Google内部拥有的数十亿图像-文本对语料库。

CLIP和SigLIP之间的主要区别

虽然CLIP为多模态表示学习奠定了基础框架，但SigLIP通过优化损失函数提高了效率和可扩展性，使其尤其适合于工业级应用场景。两者各有所长，在不同应用环境中可以根据实际需求选择合适的模型。

多模态大型语言模型（MLLMs）

CLIP和SigLIP的出现对多模态大型语言模型（MLLMs）的发展产生了深远影响，这类模型将视觉感知与语言理解能力整合到统一的计算框架中。现代MLLMs充分利用CLIP和SigLIP预训练的图像-文本对齐能力，实现了视觉问答（VQA）、图像描述生成和多模态推理等复杂任务。下文将探讨CLIP和SigLIP如何在LLaVA等代表性MLLMs中得到应用。

LLaVA：语言和视觉助手（2023）

LLaVA（Large Language and Vision Assistant，大型语言和视觉助手）由加州大学伯克利分校和微软研究院合作开发，是一个基于CLIP视觉编码器的典型MLLM实例。LLaVA将CLIP的视觉编码器（通常是Vision Transformer）与大型语言模型（如LLaMA或Vicuna）结合，构建了一个能够同时处理图像和文本输入的统一系统。

该架构的工作机制可概括为：

• 视觉信息处理：CLIP的预训练图像编码器从输入图像中提取高维视觉特征表示。
• 模态转换层：基于线性变换或多层感知机的投影层将CLIP视觉特征映射到语言模型的表示空间，确保模态间的语义兼容性。
• 多模态融合：视觉特征表示与文本标记嵌入进行连接或交错处理，使语言模型能够对两种输入信息进行联合推理。
• 任务适配：LLaVA在视觉指令遵循数据集（如各类视觉问答或图像描述任务）上进行微调，使融合模型能够适应特定的下游应用需求。

通过充分利用CLIP的零样本泛化能力，LLaVA能够以最小化的特定任务微调泛化到未见过的视觉-语言任务，这使其非常适合需要解释图像内容的交互式对话系统。

其他具有代表性的MLLMs

CLIP和SigLIP的表示学习范式也被整合到其他多种前沿MLLMs中，显著增强了它们的多模态处理能力：

• BLIP-2（Bootstrap Language-Image Pre-training）：由Salesforce Research团队开发，BLIP-2采用CLIP的视觉编码器提取图像特征，随后将这些特征输入到轻量级查询转换器（Q-Former）中，最终由OPT或Flan-T5等大型语言模型进行处理。这种模块化设计方法减少了计算资源需求，同时在视觉问答和图像-文本检索等任务上保持了强大的性能。
• Flamingo：由DeepMind研发，Flamingo利用CLIP的视觉编码器处理输入序列中的多个图像，并将提取的视觉特征与预训练的Chinchilla等大型语言模型集成。Flamingo架构的特色在于引入了"Perceiver Resampler"模块来压缩视觉特征表示，使系统能够有效处理包含文本和长视觉序列的混合输入。
• Google基于SigLIP的模型：虽然具体实现细节可能存在差异，但SigLIP的计算效率和鲁棒性使其自然地适用于Google的多模态模型系列，如Gemini。SigLIP的成对sigmoid损失机制使这些模型能够在超大规模数据集上进行高效训练，提升了图像引导对话和视觉内容理解等任务的性能表现。
  

CLIP和SigLIP在MLLMs中的技术优势

CLIP和SigLIP为MLLMs提供了以下核心技术优势：

• 预训练语义对齐：CLIP和SigLIP通过大规模预训练提供了已对齐的图像-文本表示空间，为MLLMs提供了坚实的基础，减少了下游任务中对大量标注数据的依赖。
• 架构兼容性：这些模型基于编码器的设计原理使其能够与各种大型语言模型架构无缝集成，为研究人员提供了灵活的实验环境。
• 计算可扩展性：特别是SigLIP的高效损失函数设计，对于需要处理海量多模态数据的MLLMs具有显著价值，而CLIP的零样本能力则增强了模型的任务适应性。

挑战和考虑因素

尽管具有诸多优势，将CLIP和SigLIP整合到MLLMs框架中仍面临一系列技术挑战。CLIP的固定维度嵌入空间可能限制模型进行细粒度视觉推理的能力，通常需要额外的投影层或特定任务微调来克服这一局限。同样，SigLIP虽然在可扩展性方面表现出色，但在小规模训练设置中可能会牺牲CLIP所具备的部分零样本泛化能力。此外，两种模型都不可避免地继承了来自互联网抓取训练数据中存在的社会偏见，这些偏见可能会传播到MLLM的输出结果中，因此需要实施严谨的评估方法和偏见缓解策略。

结论

CLIP和SigLIP代表了多模态人工智能研究的重要里程碑，使计算机系统能够以前所未有的方式理解和关联视觉与文本信息。CLIP开创的对比学习范式为零样本视觉理解开辟了新途径，而SigLIP的sigmoid损失机制则提供了计算效率和可扩展性方面的重要改进。这两种模型共同强调了视觉-语言联合建模的技术价值，为人工智能领域的未来创新奠定了理论和实践基础。对于研究人员和工程实践者而言，这些模型为探索视觉与语言交互的深层机制提供了坚实的技术平台，推动了多模态智能系统在各应用领域的持续进步。

CLIP和SigLIP的技术创新不仅拓展了多模态表示学习的理论边界，还为不同数据模态间的语义融合提供了有效方法论。随着这些基础模型的持续演进，它们的应用领域必将进一步扩大，在医疗诊断辅助、智能教育系统、交互式娱乐等众多垂直领域释放新的技术潜力。多模态人工智能的发展历程方兴未艾，CLIP和SigLIP所代表的技术突破仅是人类向构建真正理解和交互世界的智能系统迈出的重要一步。

https://avoid.overfit.cn/post/64c63804d691406b830e01bb0a50e931