Jina AI发布jina-embeddings-v2模型

Jina AI近日发布了其第二代句子嵌入模型jina-embeddings-v2。该模型支持高达8192个标记的上下文长度，并在多个嵌入基准测试中表现优于OpenAI的text-embedding-ada-002。

模型特点与性能

1. 开源与许可：jina-embeddings-v2模型在Apache 2.0许可证下免费提供，是Jina AI嵌入模型的第二代版本。

2. 架构与规模：该模型基于BERT架构，仅支持英语，提供了两种规模的版本：

   • small：3300万参数
   • base：1.37亿参数
     另外，一个包含4.35亿参数的large版本即将发布。
3. 训练数据：模型在C4数据集和Jina AI新创建的否定语句数据集上进行了训练。
4. 性能表现：在Huggingface的Massive Text Embedding Benchmark (MTEB)排行榜上，jina-embeddings-v2在文本分类、重排序和摘要生成等多项任务上超越了OpenAI的text-embedding-ada-002。

技术创新

1. 处理否定语句：为了应对嵌入模型在处理否定语句时的常见问题，Jina AI使用GPT-3.5创建了一个包含“查询、肯定、否定”三元组的否定数据集。模型在训练过程中学会了区分肯定和否定部分的嵌入。
2. 向量维度：与OpenAI的模型相比，Jina的嵌入向量维度约为其一半，这使得其在数据库查询中表现更为高效。

社区与未来发展

1. 社区讨论：在Hacker News的讨论中，有用户指出OpenAI的嵌入模型在余弦相似度方面表现不佳，主要匹配语法而非语义，而Jina的模型在这一方面表现更好。
2. 多语言支持：Jina AI正在开发德语和西班牙语的语言模型，并将发表一篇学术论文，详细介绍其技术细节。

公司愿景

Jina AI的CEO Dr. Han Xiao表示，公司致力于民主化AI，使曾经仅限于专有生态系统的工具能够为社区所用。jina-embeddings-v2的发布是实现这一愿景的重要里程碑。

句子嵌入的应用

句子嵌入将文本映射为向量，通过向量之间的空间关系（如余弦距离）来衡量两段文本的语义相关性。嵌入可用于多种下游AI任务，如文本分类、摘要生成，以及为向量数据库中的文档索引，支持检索增强生成（RAG）等任务。

总结

Jina AI的jina-embeddings-v2模型通过开源、高性能和多任务优化，展示了其在文本嵌入领域的创新和领先地位。该模型的发布不仅提升了嵌入技术的性能，也为AI社区的开放和共享做出了重要贡献。