Last Week in Milvus

What's New

Milvus 社区开通了 Discord 交流频道 https://discord.com/invite/8uyFbECzPX

Core Updates

#28720 #28803 #28692 #28470 Milvus社区正在对delete和compaction逻辑进行一系列优化，会像其他WAL架构的数据库一样，使用一层Level 0 segment存储删除记录，此优化后会使得整体的写入逻辑更清晰，compaction架构上更简洁，详细设计见 https://github.com/milvus-io/milvus/issues/27675

#28272 Bulk Insert支持Array类型，补齐了批量导入的能力

#28622 segment动态平衡策略中加入了growing segment行数，Milvus的segment分为growing和sealed两类，在此之前的平衡策略中，只考虑了sealed segment，对于导入数据过程中的collection绝大部分数据都是在growing segment中，会导致数据极度倾斜，加入growing segment行数后能大大缓解此问题。

#28319 为Milvus增加access log功能，运维用户可以通过access log做业务用户行为分析、故障分析等，详细的配置详见 https://github.com/milvus-io/milvus/issues/28086

#28608 Bulk insert支持导入parquet格式。parquet是数据、AI领域非常常见的格式，支持parquet后用户将Milvus和现有的数据系统集成会更容易。

#28878 很多用户反馈升级到2.3.x后在旧cpu机型上Milvus无法启动，经过排查发现是Milvus使用的依赖folly库编译参数导致，此PR修复了该问题

Knowhere

#219 在topk很大时，将hnsw索引查询退化成暴力搜索，以提升性能
#221 修复hnsw M==1时会crash的问题
#233 修复arm neon指令集下hamming距离计算问题
#238 为diskann索引支持mmap

Backup

246 支持本地文件系统

Birdwatcher

222 新增命令collection-meta-leaked，清理已经被删除的collection

220 支持删除不存在的key

224 为verify-segment命令增加fix参数，修复segment元数据

New Contributor

Welcome junjiejiangjjj

What's Up Next

发布2.3.4版本

Did you know

Milvus支持内存多副本功能，用于高可用、扩展性强的场景，具体的介绍详见 https://milvus.io/docs/replica.md

本文由mdnice多平台发布