头图

J-Tech & 开源之夏|什么是比快更快的向量搜索

J-Tech Talk
由 Jina AI 社区为大家带来的技术分享工程师们将深入细节地讲解具体的问题分享
Jina AI 在开发过程中所积累的经验

图片

本期 J-Tech Talk 邀请到了在开源之夏项目中脱颖而出的杨小燕,分享她负责的项目《支持 Redis 数据库作为 DocArray 的存储后台》帮助更多的开发者高效地进行向量检索。

作为 Jina 生态的底层模块,DocArray 是一种可扩展的数据结构,完美适配深度学习任务。总的来说,DocArray 能够把非结构化数据,统一成同一种数据结构。支持的数据类型包括文本、图像、音频、视频、3D mesh等,并且能够高效地处理、检索、推荐、存储及传输数据。在小燕的贡献下,DocArray 新增了 Redis 数据库的后端存储支持,现在 DocArray 支持了更多向量数据库作为存储后台,如 Annlite,SQLite,Qdrant 以及 Elasticsearch 等。

分享内容

1、什么是 DocArray
DocArray 是一种为机器学习而生的数据结构工具包。
2、如何实现 DocArray 的 Redis 后端存储
添加 Redis 支持,可以使用基于图的 ANN 搜索算法:HNSW,该算法能够最大程度地达到检索召回率和检索时间的平衡。
3、经验分享 - 在开源之夏和世界各地的工程师一起开发的体验

关于讲师杨小燕
Jina AI 开源社区 DocArray 贡献者中国原子能科学研究院的核能科学与工程专业硕士二年级在读,本科毕业于清华大学工程物理系。

活动时间
2022 年 9 月 22 日 周四晚 19:00 - 19:45

开源之夏是由中国科学院软件研究所“开源软件供应链点亮计划”发起,并长期支持的一项暑期开源活动,由软件所与 OpenEuler 社区联合主办,旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展。
欢迎私信申请报名活动~


技术分享实录
Jina 是一个基于云原生的神经搜索框架,目前已在 GitHub 开源。 了解 Jina 及相关 Doc、Examples 请访问...

Jina 是一个基于云原生的神经搜索框架,目前已在 GitHub 开源。

16 声望
6 粉丝
0 条评论
推荐阅读
分享回顾|新岁序开,2023 和Jina AI共同码梦
在坚持开放协作精神、具备全球影响力的 Jina AI 开源社区,每天都有来自世界各地的开发者来到这里,因为技术产生联结,因为联结产生共创。一直以来,我们都为拥有这样一个全球化、多元化和高速发展的社区而感到自...

JinaAI阅读 650

开源问答社区软件 Answer 1.0 正式版发布!
这是继 10 月 Alpha 版本发布后的首个正式版本。你可以使用 Answer 高效地搭建一个问答知识社区,并用于产品技术问答、客户支持、用户交流等场景。

AnswerDev6阅读 2.3k评论 1

封面图
走进开源项目 - urlcat 源码分析
该项目是在 qs 项目的基础上并使用 typescript 进行开发,其中定义了 2 个类型,有几个不太了解知识点 type 、 Recode 、Partial 和 Pick 。

robin5阅读 2.1k评论 2

封面图
三年前端的2022,如果创造比卷更有趣,那为何创造不能成为主旋律?
up主2019年毕业,找了一份前端工作,一直干到现在。2019年末出现疫情,三年的时间,也差不多与我的职业生涯完全重合了。刚过去的2022年,我也没有避开阳的命运(这病毒是真的强),就12月这一个月时间,几乎全公...

Gomi8阅读 1.3k

封面图
2022,二着二着又混过一年
收到思否小姐姐的活动提醒,才发觉又到了年底,该写“总结”了。说起总结,总有些倦——每天工作要写日报、项目上要写周报、月底要写月报、季度还有季总结,当然还有半年总结和年终总结……一年大约是 250 个工作日、50...

边城6阅读 733评论 2

封面图
个人/团队/公司开源,Joyqi 谈贡献开源的「不同姿势」
前不久,Answer.dev 创始人 @Joyqi 受到邀请,在刚刚结束的 GitHub Universe 的 Local Party 上做了题为「用 GitHub 构建开源项目的各种姿势」的主题分享。以下为他的分享实录。

AnswerDev7阅读 1.4k评论 2

张晋涛:我的 2022 总结
大家好,我是张晋涛。2022 年已经结束,我每年都会惯例的做个小回顾,今年因为阳了在恢复身体,一直拖到了今天才写。生活在 2022 年初做回顾的时候,觉得 2021 是魔幻的一年,但现在看来 2022 年其实更加魔幻。一...

张晋涛6阅读 634评论 2

封面图

Jina 是一个基于云原生的神经搜索框架,目前已在 GitHub 开源。

16 声望
6 粉丝
宣传栏