AWS 宣布 Amazon MemoryDB 向量搜索功能正式上线
AWS 近期宣布 Amazon MemoryDB 的向量搜索功能正式上线。Amazon MemoryDB 是一种支持多可用区(Multi-AZ)的托管内存数据库,此次新增的向量搜索功能提供了超低延迟和最高召回率的向量搜索性能,成为 AWS 上向量数据库中的佼佼者。
Amazon MemoryDB 简介
Amazon MemoryDB 于 2021 年推出,是一个兼容 Redis 的持久化内存数据库。对于生成式 AI 应用等需要极致性能的场景,它现在是 AWS 上推荐的托管向量搜索选择。
向量搜索功能的应用场景
通过 Amazon MemoryDB 的向量搜索功能,开发者可以使用现有的 MemoryDB API 实现生成式 AI 用例,如检索增强生成(RAG)、异常(欺诈)检测、文档检索和实时推荐引擎。开发者还可以使用 Amazon Bedrock 和 Amazon SageMaker 等 AI/ML 服务生成向量嵌入,并将其存储在 MemoryDB 中,用于实时语义搜索、低延迟持久化语义缓存和实时异常检测。
技术细节与性能
MemoryDB 的向量搜索功能支持存储数百万个向量,查询延迟仅为个位数毫秒,并在最高吞吐量水平下提供超过 99% 的召回率。该功能还支持通过主成分分析(PCA)等统计分解技术生成向量表示,用于检测欺诈行为。
新特性与改进
这一功能在 2023 年 re:Invent 大会上首次预览,并在近期正式上线时引入了新特性和改进,包括:
- VECTOR_RANGE:使数据库能够作为低延迟、持久化的语义缓存。
- SCORE:更好地过滤相似性。
- 向量字段支持使用 FLAT(平面搜索)和 HNSW(分层可导航小世界)算法进行固定大小向量的 K 近邻搜索(KNN)。
其他支持向量搜索的 AWS 数据库
除了 MemoryDB,AWS 上还有其他托管数据库支持向量搜索,包括 OpenSearch、Aurora PostgreSQL、RDS PostgreSQL、Neptune 和 DocumentDB。这些服务在过去的几年中均引入了向量相关功能,以应对生成式 AI 工作负载的需求。
市场动态与专家观点
向量数据库市场正在快速增长,专家认为市场已经变得过于拥挤,新产品很难在众多现有选项中脱颖而出。AWS 的数据库专家建议,如果已经在使用 OpenSearch Service、Aurora PostgreSQL、RDS for PostgreSQL、DocumentDB 或 MemoryDB,可以充分利用这些服务的向量搜索功能来处理现有数据。对于基于图的 RAG 应用,可以考虑 Amazon Neptune;如果数据存储在 DynamoDB 中,OpenSearch 也是一个不错的选择。
云服务提供商的竞争
所有云服务提供商近期都引入了向量搜索功能,以与 Pinecone 和 Momento Cache 等向量数据库竞争。例如,Google BigQuery 和 Microsoft Vector Search 也推出了类似功能。
可用性
Amazon MemoryDB 的向量搜索功能适用于版本 7.1,并支持单分片配置,在所有提供该数据库的区域均可使用。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。