Elasticsearch 8.x 重要变化（qbit）

前言

• 本文记录的重要变化重要与否为 qbit 个人判断
• 官方 Release notes：https://www.elastic.co/guide/en/elasticsearch/reference/curre...
• 收费功能查看：Elastic Stack subscriptions
• 回顾：向量搜索创新的时间线

8.0 (2022-02-11)

• What’s new in 8.0
• 默认启用安全特性（Security features）

• KNN 搜索 API 技术预览（NLP）

  KNN: K-Nearest Neighbor

• 减少 keyword、text字段的空间占用
• 支持结合 PyTorch 模型处理自然语言（NLP）

8.1 (2022-03-09)

• What’s new in 8.1
• 使用 Doc-value-only 为数字字段的聚合和排序提速

8.2 (2022-05-04)

• What’s new in 8.2
• 增加 kNN 搜索过滤功能
• NLP 延迟和吞吐量统计

8.3 (2022-06-29)

• What’s new in 8.3
• 改进 Ingest 性能
• 新的问答 NLP 任务

8.4 (2022-08-25)

• What’s new in 8.4
• 聚合提速
• kNN 搜索正式在 search 端点中提供

• 添加一个 KNN 选项以支持 ANN 搜索

  ANN: Approximate Nearest Neighbor

• Synthetic _source

8.5 (2022-11-02)

• What’s new in 8.5
• SQL 提速
• 更高效的快照（snapshots）
• 增加了对稠密向量字段的合成源支持

8.6 (2023-01-11)

• What’s new in 8.6

8.7 (2023-03-31)

• What’s new in 8.7
• 允许多个 KNN 搜索子句
• NLP 相关功能正式发布（GA）
• Health API 正式发布（GA）

8.8 (2023-05-26)

• What’s new in 8.8
• JWT 相关功能正式发布（GA）
• 扩展向量维度支持到 2048，推出 ELSER V1
• 新增 RRF （Reciprocal Rank Fusion，倒数排序融合）功能

8.9 (2023-07-26)

• What’s new in 8.9
• 并发索引和搜索下更好的索引和搜索性能
• 引入了 Panama 向量 API 的 SIMD(单指令多数据)支持，提升了浮点向量的编码和搜索性能
• KNN 文本 embedding 正式发布（GA）

8.10 (2023-09-13)

• What’s new in 8.10
• 启用跨段（segments）并行 KNN 搜索

8.11 (2023-11-08)

• What’s new in 8.11
• 发布 ES|QL 预览版
• 为 Passage 向量搜索提供了支持，使其能够通过嵌套字段实现
• 扩展向量维度支持到 4096

8.12 (2024-01-18)

• What’s new in 8.12

• 减少 HNSW 向量搜索内存占用

  HNSW: Hierarchical Navigable Small World

8.13 (2024-03-27)

• What’s new in 8.13
• 在 TSDB 中提升部分字段的存储效率
• 同义词 Synonyms API 正式发布（GA）

8.14 (2024-06-06)

• What’s new in 8.14
• ES|QL 正式发布（GA）
• 可以直接传参文本做 KNN 搜索，而不必先把文本转化为向量（需要先给 ES 部署机器学习模型）

8.15 (2024-08-09)

• What’s new in 8.15
• 提高存储空间利用率：用 ZStandard 替代 LZ4/DEFLATE 压缩算法，对文档进行分块压缩
• SIMD 原生优化，支持了比特向量和 4 位量化向量

8.16 (2024-11-13)

• What’s new in 8.16

• 将 index.codec best_compression 下的压缩算法改为 ZStandard

  之前 best_compression 的算法是 DEFLATE
  改为 ZStandard 后，存储空间降低了约 12%，索引吞吐量提高了约 14%

• RRF （Reciprocal Rank Fusion，倒数排序融合）功能 GA

本文出自 qbit snap