微软在Inspire大会上宣布Azure Cognitive Search的向量搜索功能进入公共预览

微软在年度Inspire大会上宣布，Azure Cognitive Search的向量搜索功能进入公共预览阶段。这一功能支持构建基于大型语言模型（LLMs）的应用程序，能够在搜索索引中索引、存储和检索向量嵌入。

向量搜索的功能与优势

向量搜索通过机器学习捕捉非结构化数据（如图像和文本）的意义和上下文，使搜索更加快速。与关键字匹配不同，向量搜索通过比较查询和内容的向量表示来找到相关结果。Azure OpenAI服务的文本嵌入模型（如text-embedding-ada-002）可以将文本转换为向量，捕捉其语义。

应用场景

用户可以利用向量搜索进行相似性搜索、多模态搜索、推荐引擎以及实现检索增强生成（RAG）架构的应用程序。RAG架构的兴起源于将大型语言模型与自定义数据整合的需求。例如，用户可以通过向量搜索检索相关信息，分析并理解这些数据，然后基于LLM的能力生成智能响应或操作。

微软杰出工程师Pablo Castro指出，向量搜索在生成式AI应用中扮演重要角色，特别是在使用RAG模式时。检索系统的质量对这些应用程序能否基于知识库中的特定数据生成响应至关重要。Azure Cognitive Search现在不仅可以作为纯向量数据库使用，还可以用于混合检索，结合向量搜索和文本搜索的优势，甚至可以通过重新排序步骤进一步提高质量。

附加功能与数据源

由于向量搜索是认知服务的一部分，它还提供了一系列附加功能，包括分面导航和过滤器。此外，用户可以利用Azure Cognitive Search的索引器从各种Azure数据存储（如Blob Storage、Azure SQL和Cosmos DB）中提取数据，以丰富统一的AI驱动应用程序。

具体用例

微软列举了向量搜索与Azure AI集成的一些具体用例：

• 使用Azure OpenAI服务的搜索支持聊天应用程序
• 使用Azure AI Vision将图像转换为向量表示，以实现准确、相关的文本到图像和图像到图像搜索体验
• 从大数据集中快速准确地检索相关信息，以帮助自动化和优化工作流程

向量化技术的流行

向量化技术在搜索领域越来越受欢迎，它涉及将单词或图像转换为数值向量，编码其语义意义，并促进数学处理。通过将数据表示为向量，机器可以组织和理解信息，迅速识别向量空间中接近的单词之间的关系，并从包含数百万单词的庞大数据库中快速检索它们。

其他公司的类似技术

亚马逊和谷歌也在其产品中使用了向量化技术。例如，谷歌在其Vertex AI Matching Engine和托管数据库（如Cloud SQL和AlloyDB）中使用该技术，而亚马逊则在OpenSearch中引入了向量数据库功能。此外，微软还通过Azure Data Explorer（ADX）提供了向量化技术的另一种实现。

可用性与资源

Azure Cognitive Services中的向量搜索目前在所有区域免费提供。此外，向量搜索的代码示例可以在GitHub仓库中找到。