Last Week in Milvus

What's New

全力冲刺 2.3.0 发布中

Core Updates

25417 HNSW 索引支持 binary vector。在此之前 HNSW 索引只支持 float vector，这次更新让 HNSW 索引能够支持 binary vector 以及其配套的 metric

25351 改进了upsert操作的限流逻辑。upsert 接口背后会执行 delete 和 insert 两个原子操作，其限流逻辑也就复用了 delete 和 insert 的限流行为，但是经过测试发现这会给限流逻辑带来很大的误导，经过讨论我们决定为 upsert 提供单独的限流逻辑。

25538 Milvus 支持 pulsar、kafka 以及 rocksdb 作为消息队列的中间件，kafka 使用的是 confluent 官方的 go 客户端，其中内核使用的是 librdkafka 这个 c++ 库，在之上使用 CGO 为 go 提供接口，confluent 官方包中为多个平台提供了默认的 librdkafka 静态库，但是并不是所有平台都兼容。经过讨论 Milvus 中将 librdkafka 改为动态链接库，在每个平台单独编译，解决各个平台的兼容性问题。

25260 标量过滤的性能一直是社区使用的痛点，我们一直在使用 SIMD 技术加速过滤性能。由于 SIMD 在不同的指令集下要使用不同的编译参数这会导致 Milvus 的版本急速膨胀进而无法维护，在此 pr 中我们使用动态判断 SIMD 技术，在同一个二进制文件中动态支持不同的 SIMD 指令集 CPU。

Knowhere

987 优化 MacOS neon 指令集。

Birwatcher

164 新增了 DiskANN 索引的 probe 命令

165 新增了 describe index 命令，可以查看 index 构建进度

Storage

Milvus-storage repo https://github.com/milvus-io/milvus-storage 是 Milvus 新一代存储引擎的内核，将会在 2.4.0 版本中成为 Milvus 的默认存储引擎。升级后 Milvus 将会更高性能、更开放等存储格式，方便对接当下流行的数据湖技术，将会成为开放的向量数据湖。项目还在早期阶段，期待更多的同学参与其中。

Good First Issue

https://github.com/milvus-io/milvus/issues/25553 支持更复杂的取模表达式

What's Up Next

2.2.12 预计会在本周发布。

Did you know

如何将 Milvus 与 LangChain 做集成，可以参考以下几篇文章:

https://milvus.io/docs/integrate_with_langchain.md
https://zilliz.com.cn/blog/LangChain-Milvus-Zilliz
https://zilliz.com.cn/blog/langchain-gptcache-nlp

🌟「寻找 AIGC 时代的 CVP 实践之星」 专题活动即将启动！

Zilliz 将联合国内头部大模型厂商一同甄选应用场景， 由双方提供向量数据库与大模型顶级技术专家为用户赋能，一同打磨应用，提升落地效果，赋能业务本身。

如果你的应用也适合 CVP 框架，且正为应用落地和实际效果发愁，可直接申请参与活动，获得最专业的帮助和指导！联系邮箱为 [e-mail]。

---

• 如果在使用 Milvus 或 Zilliz 产品有任何问题，可添加小助手微信 “zilliz-tech” 加入交流群。
• 欢迎关注微信公众号“Zilliz”，了解最新资讯。

本文由mdnice多平台发布