Meta发布Data2Vec 2.0：多模态自监督学习算法

Meta发布了Data2Vec的第二版本（Data2Vec 2.0），这是一款自监督学习算法，能够以相同的方式从语音、视觉和文本三种不同的模态中学习。该算法在计算机视觉任务中达到了与其他模型相同的准确性，但速度快了16倍。Meta还公开了代码和预训练模型，供其他研究人员使用。

自监督学习背景

自监督学习使机器无需依赖标注数据即可学习。这些模型通过观察世界来学习文本、语音和图像的结构。对于视频处理，这种学习方式尤为重要，因为视频处理通常需要大量的计算资源。

Data2Vec 2.0的改进

Data2Vec 2.0在原始Data2Vec的基础上进行了效率优化。与预测句子中的单个单词或图像中的单个像素不同，它预测数据的上下文表示。这意味着算法会考虑整个训练样本，从而比其他算法学习得更快。

效率提升的关键技术

1. 目标表示的重用：针对特定训练样本构建的表示被重用于掩码版本（训练样本的某些部分被隐藏）。每个版本由学生模型计算，预测不同掩码版本的相同上下文目标，从而分摊创建表示的计算成本。
2. 跳过隐藏部分的计算：对于训练样本中被隐藏的部分，不运行学生编码器网络，节省了大量计算资源。这一技术与掩码自编码器类似。
3. 更高效的解码器模型：使用基于多层卷积网络的解码器模型，而非Transformer网络，进一步提升了效率。

性能测试

Data2Vec 2.0在计算机视觉、语音和文本任务上进行了性能测试，重点关注最终准确性和预训练时间。

计算机视觉任务

在ImageNet-1k图像分类基准测试中，Data2Vec 2.0与掩码自编码器（MAE）的准确性相当，但速度快了16倍。

语音任务

在LibriSpeech语音识别基准测试中，Data2Vec 2.0比Meta开发的wav2vec 2.0快了11倍以上，且准确性相似。

文本任务

在GLUE基准测试中，Data2Vec 2.0与RoBERTa（Google开发的BERT模型的优化版本）的准确性相当，但训练时间减少了一半。

总结

Data2Vec 2.0通过优化上下文表示和计算效率，在多模态自监督学习领域取得了显著进展。它不仅提升了学习速度，还在多个任务中保持了高准确性，为未来的研究和应用提供了强大的工具。