Milvus 2.0 质量保障系统详解

2022-04-22
阅读 8 分钟
2.1k
编者按:本文详细介绍了 Milvus 2.0 质量保障系统的工作流程、执行细节,以及提高效率的优化方案。内容大纲:质量保障总体介绍 测试内容的关注点 开发团队与质量保障团队如何协同 Issue 的管理流程 发布标准测试模块介绍 总体介绍 单元测试 功能测试 部署测试 可靠性测试 稳定性和性能测试提效方法和工具 Github Action ...
封面图

Milvus 向量数据库如何实现属性过滤

2022-04-18
阅读 3 分钟
2.2k
编者按:本文详细介绍 Milvus 2.0 如何通过查询表达式、查询语法生成、查询操作执行来完成属性过滤。大纲分享:查询表达式的文法规则查询语法的生成语法树的解释和执行查询表达式的文法规则Milvus 支持的查询表达式如下图所示,Milvus 运用 EBNF 语法,此处用等式和语法图体现了 Milvus 所支持的查询表达式的整体规则。...
封面图

一个小目标的达成——Milvus 10,000 星!

2022-04-13
阅读 2 分钟
1.8k
近日,开源项目 Milvus 在向量数据库征程上取得了新的里程碑——GitHub 10,000 星。虽然我们认为 star 数不是评价开源项目质量的唯一标准,但还是感谢每一位通过点星来支持 Milvus 项目的开发者。
封面图

如何使用 Milvus 向量数据库实现实时查询

2022-03-31
阅读 7 分钟
4.1k
编者按:本文详细介绍 Milvus2.0 如何对查询节点的数据进行管理,以及如何提供查询能力内容大纲:快速回顾 Milvus 进行数据插入与持久化存储相关的流程及机制;如何将数据加载进查询节点(Query Node)以进行查询操作 ;Milvus 上实现实时查询的相关操作和流程。快速回顾 Milvus 进行数据插入与持久化相关的流程与机制Mi...
封面图

Milvus 数据处理流程解剖

2022-03-24
阅读 9 分钟
2k
编者按:本文详细解剖 Milvus 2.0 主要的数据处理流程以及访问接入层( Access Layer)。分享大纲:回顾 Milvus 2.0 的架构;介绍 Milvus 2.0 代码结构的组织方式;介绍主要的数据处理流程;具体介绍访问接入层。主要数据处理流程Milvus 2.0 中主要的数据处理流程包括读写路径、建表等数据定义操作以及向量索引构建流程...

Milvus 2.0 数据插入与持久化

2022-03-24
阅读 8 分钟
3.6k
编者按:本文详细介绍了Milvus2.0数据插入流程以及持久化方案Milvus 2.0 整体架构介绍数据写入相关的组件介绍ProxyData coordData nodeRoot coord & Time tickData allocation 数据分配数据组织结构文件结构及数据持久化Milvus 2.0 整体架构介绍上图是 Milvus 2.0 的一个整体架构图,从最左边 SDK 作为入口,通过 Load B...

Milvus Committer 嵇斌:参与开源是一种对自己的投资

2022-03-24
阅读 3 分钟
1.9k
✏️ 编者按:2022 年 3 月,嵇斌在社区一致投票通过后正式加入了 Milvus committer 的行列。在过去 3 个月的时间里,他除了为社区提交了 40 个 PR 外,也活跃于 Milvus 用户群,帮助解答许多用户的技术问题。在接下来的文章中,嵇斌将与我们分享他如何从一个“开源跟踪者”成长为 Milvus 开源项目 committer。谁是嵇斌首先...
封面图

开箱即用的 Embedding 流水线

2022-02-28
阅读 3 分钟
2.7k
“万物皆可 Embedding”这句话似乎每个做算法模型小伙伴都听过了。“万物”具体是指什么呢?Embedding 又是如何实现的呢?本文介绍了一款像积木般易于组合、开箱即用的 Embedding 流水线。本文转载自知乎用户 CSY,转载已获得原作者授权。原文请见:[链接]

Milvus 图形化管理工具 Attu 来袭!

2022-02-28
阅读 5 分钟
2.6k
面对高速增长的非结构化数据处理需求,Milvus 2.0 应运而生。Milvus 2.0 是一款面向 AI、专为大规模生产级场景设计的向量数据库系统。如何快速上手这款非结构化数据处理神器?除了 Milvus 专属的命令行客户端 Milvus_cli,你还可以选择 Zilliz 为 Milvus 专门开发的图形界面客户端—— Attu。
封面图

Deep dive #2:API 与 Python SDKs 详解

2022-02-28
阅读 4 分钟
1.5k
编者按:API 是什么?Python SDKs 又是什么?熟悉 Milvus 数据库的朋友们应该会立刻联想到 Milvus protocol API 和 PyMilvus。本期内容能帮助你以一个全新的视角看待 Milvus 和 Milvus 开源社区。讲师简介:杨璇,pymilvus-admin 和 Milvus contributor,负责维护 PyMilvus 项目以及研发 Milvus 的 DataNode 模块。开源...
封面图

前所未有的 Milvus 源码架构解析

2022-02-28
阅读 12 分钟
4.2k
编者按:Deep Dive 是由 Milvus 社区发起的代码解析系列直播,针对开源数据库 Milvus 整体架构开放式解读,与社区交流与分享 Milvus 最核心的设计理念。通过本期分享,你可以了解到云原生数据库背后的设计理念,理解 Milvus 相关组件与依赖,了解 Milvus 多种应用场景。讲师简介:栾小凡,Zilliz 合伙人、工程总监,LF A...
封面图

干货分享|Bitset 应用详解

2022-02-28
阅读 3 分钟
2.4k
编者按:Milvus 2.0 带来了不少新功能。在这些新功能中,时间旅行(time travel)、属性过滤和删除操作相互关联,因为这三个功能是通过一个共同的机制——Bitset 实现的。Milvus 研发工程师蔡宇东将为大家解析 Milvus 中 Bitset 的概念,并通过三个例子解释它是如何支持删除操作、时间旅行和属性过滤的。
封面图

万物皆为向量,爱奇艺在线向量召回工程服务化实践

2022-02-17
阅读 6 分钟
1.6k
随着深度学习浪潮的兴起,embedding 技术快速发展。Embedding 自身表达能力的增强使得直接利用该技术生成推荐列表成了可行的选择。因此,利用 embedding 向量的相似性,将 embedding 作为推荐系统召回层的方案逐渐被推广开来。

一起体验 Milvus 2.0 新功能

2022-02-17
阅读 8 分钟
2.2k
Milvus 2.0 新增了向量删除功能,允许用户通过向量 id 将某些向量从 Collection 中删除。用户再也不用为一些过期或无效的向量数据犯愁了。赶紧试一下:

玩转多种应用场景,快手 MMU 分享秘籍

2022-02-17
阅读 2 分钟
4.5k
短视频的兴起见证了一场信息革命。图文时代逐渐过渡到多媒体时代,对视频的理解和搜索已成为当下的关键技术。作为国民级短视频 App 的 AI 中台,快手 MMU(Multimedia understanding 多媒体内容理解)团队是如何在多种应用场景下应对自如的?Milvus 社区有幸邀请到了来自快手 MMU 的研发工程师余晋,与大家分享 Milvus ...

Milvus 2.0 正式 GA

2022-02-07
阅读 4 分钟
2.1k
✏️ 编者按:在历经六个月、9 个 RC 版本的迭代与全球 1000 家用户的实战验证后,我们隆重宣布 Milvus 2.0 GA 版本正式发布。Milvus 研发总监栾小凡撰文,解析正式版本的八大新功能并展望未来发展方向。
封面图

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

2022-01-20
阅读 3 分钟
2.4k
文章0 1AI 如何画出虚拟老婆的?最近大火的 Waifu Labs 项目使用生成对抗网络方法,训练 AI 创作「虚拟老婆」。这篇文章[1]解剖 AI 学习的步骤,我们可以看到一张二次元面孔是如何在一片混沌中生成的。生成对抗网络简称 GAN,是非监督式学习的一种方法,你可以把它想象成一对为了学习而相互博弈的 AI:一个 AI 学习如何...
封面图

声纹识别帮你守住钱袋子,聊一聊证券行业里的人工智能

2021-10-26
阅读 4 分钟
1.8k
股票、证券等金融交易越来越多地脱离线下而转向线上进行,指纹、人脸等生物识别技术普及,而与「钱」相关的场景,如何精确地完成身份识别和认证?如何保证业务合规?具体而言:
封面图

Kubernetes 中的应用参数配置案例详析

2021-10-13
阅读 4 分钟
2.1k
✏️ 作者简介:宗玉芬,Zilliz 测试开发工程师,华中科技大学计算机技术工程硕士。目前专注于 Milvus 数据库的质量保障工作,包括但不限于接口测试、SDK 测试、Benchmark 测试等。一个喜欢定位问题、热爱探究混沌工程理论与故障演练实践的测试开发小朋友。
封面图

系统召回太慢?上 Milvus × PaddleRec 双剑合璧大法!

2021-10-08
阅读 9 分钟
5.9k
作者简介 李云梅,Zilliz 数据工程师,毕业于华中科技大学计算机系。加入 Zilliz 以来,致力于为开源向量数据库 Milvus 探索解决方案,帮助用户打造场景应用。深入关注自然语言处理技术和搜索推荐系统,日常喜欢一个人猫着乱翻书。
封面图

13 种高维向量检索算法全解析!数据库顶会 VLDB 2021 论文作者干货分享

2021-09-29
阅读 7 分钟
4k
编者按: 以图搜图、商品推荐、社交推荐等社会场景中潜藏了大量非结构化数据,这些数据被工程师们表达为具有隐式语义的高维向量。为了更好应对高维向量检索这一关键问题,杭州电子科技大学计算机专业硕士王梦召等人探索并实现了「效率和精度最优权衡的近邻图索引」,并在数据库顶会 VLDB 2021 上发表成果。作为连接生产...
封面图

千万量级图片视频快速检索,轻松配置设计师的灵感挖掘神器

2021-09-28
阅读 3 分钟
1.7k
作者介绍:James Zhang,飞书深诺集团的算法工程师 ,毕业于芬兰坦佩雷大学,感兴趣的方向包括自然语言处理、计算机视觉等机器学习相关领域以及算法工程化。飞书深诺集团是专注海外数字营销解决方案的综合服务集团,为中国出海企业提供可定制组合的全链路服务产品,满足游戏、APP、电商、品牌等典型出海场景需求。
封面图

Milvus Hacktoberfest 开源挑战赛即将到来,你准备好了吗?

2021-09-23
阅读 3 分钟
1.5k
当你想到 10 月的庆典时,你脑中出现的画面是什么呢?中国的国庆节、十月末的万圣节、德国的慕尼黑啤酒节(Oktoberfest)……或许你不知道还有一个让全世界黑客 & 开源人都疯狂的十月黑客庆典 - Hacktoberfest!无论你是编程新手还是开源老司机,都可以在这个活动中找到自己感兴趣的项目并参与。除了带回家满满的周边...
封面图

技术分享|如何对 Milvus 2.0 进行参数配置

2021-09-16
阅读 3 分钟
3.9k
编者按: 端口冲突怎么办?日志输出怎么搞?参数的合理配置能够有效解决这些常见问题。Milvus 资深爱好者梦醒君最近一直在使用 Milvus 2.0 RC 版本,有一些关于参数配置的心得体会想分享给大家。本文转载自 Milvus 用户 @迷茫的梦醒,已获得原作者授权。
封面图

深度 | 数据大变革,向量数据库大牛揭秘设计理念

2021-09-15
阅读 8 分钟
4k
未来 80% 的数据是非结构化的,然而传统的数据分析手段很难挖掘非结构化数据中所蕴含的信息,也没法对这些信息进行统一的表示。如何深入理解这些棘手的「新数据」?Zilliz 研发工程团队「三剑客」郭人通、栾小凡、易小萌共同撰文,探讨了面向 AI 的通用向量数据库的设计和实践,以及当前主要的技术挑战。
封面图

技术分享|Milvus 1.x 版本支持 S3 存储的部署

2021-09-09
阅读 6 分钟
2k
编者按: 本文作者是嵇斌。嵇斌,紫光华智系统工程师,毕业于南京邮电学院,目前负责 Unisinsight 云原生和人工智能相关的软件预研工作。在此之前曾在 Nokia 从事 5G 和云相关的软件开发,热衷跟踪参与开源软件。平时兴趣广泛,喜好研究咖啡、饮茶以及做菜。 在过去的一年中,嵇斌为 Milvus 社区积极贡献代码,使 Milvus...
封面图

这人谁啊?这是啥?话在嘴边说不出,Milvus 帮你智能分析视频

2021-09-02
阅读 4 分钟
1.3k
陈室余, Zilliz 数据工程师,毕业于西安电子科技大学计算机学系。自加入 Zilliz 以来,致力于在音视频分析、化学分子式检索等各领域为 Milvus 开源项目探索解决方案,目前也在持续探索更多有趣的方案。为了好好生活、延年益寿,平时非常热爱运动。
封面图

方言听不懂,手把手教你用 Milvus 搭建方言翻译器!

2021-08-31
阅读 6 分钟
2.2k
坐在上海的公交车上,我有时会遇到这样的烦恼:稍一分神,没能听见普通话报站,支棱起耳朵,却听不懂沪语报站。为了解决这个问题,我决定——学习沪语?No, 作为一名数据工程师,我索性搭建了一个方言翻译器,帮助大家轻松听懂地方方言,再也不会错过公交车站。
封面图

用 AI 给向量检索加 buff,Milvus 亮相数据库顶会 VLDB

2021-08-27
阅读 4 分钟
3.2k
本月举行的全球数据库顶会 VLDB 上,Zilliz 与哈佛大学、卡内基梅隆大学、清华大学、微软等多家高校与企业受邀介绍最新研究进展,分享了将机器学习方法应用到数据库系统的经验。Zilliz 高级研究员易小萌介绍了开源向量数据库 Milvus 的开发背景、设计思路,以及开发过程中遇到的挑战与技术创新点。
封面图

Milvus 与 ONNX 格式的多种模型结合应用

2021-07-28
阅读 3 分钟
2.2k
开放神经网络交换(Open Neural Network Exchange,简称 ONNX)是一个开放的生态系统,它提供了基于人工智能模型的一种开源格式。自 2017 年开源以来,ONNX 在短短几年时间内发展为表示人工智能模型的实际标准,提供了一个统一的交互格式,用于优化深度学习和传统的机器学习。ONNX 定义了一组与环境和平台无关的标准格式...
封面图