【图搜系列之多模态检索实战篇】基于表征大模型的多模态检索系统

表征大模型

说起表征模型在图搜/多模态检索系统中的作用，可以用“核心作用”来形容。其主要目的是将图片和文本转化成特征向量，有了特征向量才得以进行向量检索索引的构建。模型提取的特征向量对于图片/文本等内容的表征是否贴切，直接影响着检索结果的精准度。得益于多模态技术的迅速发展，我们可以较为轻松的获取海量的图文训练对，通过基于contrastive loss的对比学习实现图文对齐训练。海量图文训练对通过弱监督对比学习的方式实现表征模型的训练是CLIP等大模型训练的一个基本思路，在这一指导思想的指引下，我们也研发了更加先进的表征大模型，其他文章中会进行介绍。由于大训练数据量和大模型参数量的加持，表征大模型相较于小模型而言，在泛化性和多任务领域有着无与伦比的优势，特别是在多模态检索领域，我们能够覆盖更加广泛地应用领域。基于阿里自研表征大模型，我们已经上线了多模态检索云产品

完整内容请点击下方链接查看：

https://developer.aliyun.com/article/1178723?utm_content=g_10...

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。