图片

在坚持开放协作精神、具备全球影响力的 Jina AI 开源社区,每天都有来自世界各地的开发者来到这里,因为技术产生联结,因为联结产生共创。一直以来,我们都为拥有这样一个全球化、多元化和高速发展的社区而感到自豪和感激!
就在昨晚 20 点,Jina AI 社区举办了「Nice🐰Meet You·兔年迎新面对面」活动,联合了 8 位合作伙伴,与 100 多位社区开发者、4000 多位观看直播的观众一起回顾我们共同创造的 2022,并展望即将到来的 2023 年!再次感谢大家的到来和支持,预祝大家兔年大吉、万事如意!!

图片

本文将梳理汇总活动的精彩分享,供大家参考。

前“兔”无量

Jina AI 产品生态和社区发展 - 回顾 2022 &  展望 2023

Jina AI 联合创始人兼 CTO 王楠博士

图片

在 2022 年 1 月 9 号,我们开源了 DocArray 的第一个版本。在看到了 AI 在 NLP、 CV 语音领域突飞猛进之后,我们相信多模态是未来非常重要的趋势。

DocArray 就是我们针对这一趋势给出的答案,这也是我们对于多模态 AI 的重要贡献。我们希望开发者在使用多模态数据的过程中能有这种技术,无感化就可以非常方便自如地去操作,去存储和处理多模态数据,迭代也非常快。去年年底我们发布了DocArray v0.20.1,当然这离不开社区开发者的帮助和反馈。

2 月,我们发布了 Jina 3。Jina 3 支持 Kubernetes 云原生环境,助力开发者搭建云原生服务。之后,Jina 陆续支持各种云原生工具——Grafana、Promise、Sales、Open Telemetry。

3 月,我们推出了 CLIP-as-service,正是因为我们看到了 CLIP 的强大应用,为了应对多模态的范式变革,拥抱生成式 AI 的热潮,我们推出了该产品。

4 月,在 DALL·E 2 发布之后,我们基于 Jina 构建了 DALL·E Flow,DALL·E Flow 的推出引爆了 AIGC 社区。紧接着在 6 月,我们推出了 DiscoArt,这是我们针对生成式 AI 给出的基于 Jina 搭建多模态 AI 系统的答案。

6 月,为了加快神经搜索的应用落地,我们发布了 Fintuner 0.5。Fintuner 0.5 为开发者提供了免费的模型训练,解决了用户在实际应用中没有预训练资源的问题。同时,我们基于 AI 生成答案的范式,发布了 DocsQA 平台,为开源软件提供免费的文档服务。

11 月,我们正式将 DocArarry 捐赠给Linux基金会,希望打造一个中立、包容和通用的标准多模态数据模型。同时也希望更多的公司和机构加入我们的开发进程。

图片

总的来说,过去的一年我们一直致力于实现 Jina AI 愿景,我们希望 Jina 能支持最新的 AI 范式,成为 AI 领域的开源模范。

CLIP-as-service 负责人 王峰博士

2022 年 3 月,我们基于 Jina 框架对 Bert-as-service 进行升级,推出了 CLIP-as-service。CLIP-as-service 是一种基于 CLIP 模型的图像和文本跨模态编码服务,目前,CLIP-as-service 可以已经支持 30 多种 CLIP 模型,同时还支持 Pytorch、ONNX、TensorRT 推理引擎。为了方便用户搭建生产就绪服务,我们一键式地支持在云端部署模型。

图片

总的来说,CLIP-as-service 提供了一个 All-in-one 的开源框架,以便用户基于 CLIP-as-service 一键式地搭建云原生的推理服务。

图片

为了验证 CLIP-as-service 的强大性,我们推出了在线的 GPU 推理服务,免费向用户开放。CLIP-as-service 在单卡的机器上,可以达到每秒处理 400 个图像或文本的推理速度。

图片

从 CLIP-as-service 最初的 Bug 收集到现在三个月内没有出现任何故障,可以看出,我们基于 Jina 框架搭建的 CLIP-as-service,为开发者提供了稳定的服务。未来 CLIP-as-service 将会:

  • 支持更多 CLIP 模型,支持多种不同语言。
  • 探索集成最新的推理加速技术。
  • 开放商业付费版推理服务。

Finetuner 负责人 王博

Finetuner 旨在利用最少的训练数据进行模型微调,以适应于不同的下游任务。Finetuner 0.1 - Finetuner 0.4,都是本地的开源框架,为了方便用户利用云端的计算资源进行微调,从 Finetuner 0.5 开始到 Finetuner 0.7,我们将 Finetuner 转化成云端的微调服务。用户只需要调用 Finetuner.fit ,就能在云端申请计算资源,完成微调。

图片

最新发布的 Finetuner 0.7 支持 3D 模型的微调,同时提供更强大的后台服务。Finetuner 0.7 支持 16 卡并行训练,而且我们只需要在训练时使用 GPU,所以 Finetuner 是一种低成本、高收益的解决方案。Finetuner 0.7 还支持 Server Posting,用户不需要将数据上传到 Jina AI Cloud,只需把 Finetuner 部署到自己的生产环境中就能完成微调。

图片

未来的 Finetuner 将会:

  • 低代码/无代码进行云端微调:全面支持Jina AI Cloud。
  • 模型:更好的短文本匹配模型,更小更快的模型,支持更多语言,支持更多模态。
  • 更稳定的基础设施。更开放的开发体验。

社区运营负责人 Lisa

2022 年我们目睹了整个中国开发者社区的爆发式成长,也看到了越来越多的中国开发者在全球开发者的社区上的活跃表现。Jina AI 是一个充满人文关怀的社区,作为运营团队,我们秉持着更加积极的行动和姿态。比如,为了倡导社区多元化发展,我们联合了十几家技术社区,在 3 月份做了 Impact Tech She Can 活动,支持技术行业女性发展。在 1024 程序员节,我们举办了开发者嘉年华。开展了充满趣味性的程序员脱口秀,还积极参与了计算机学会的工程师文化会和开源社区的年度盛会。

未来,我们希望能和开发者有越来越多的互动,共创技术传播平台。我们有两个最重要的社区活动——Office Hours 和 J-Tech Talk 都是一月一期。Office Hours 它让社区开发者与开发团队面对面沟通;J-Tech Talk 为社区开开发者提供分享技术的平台,也会在这里分享一些实例秀,向大家展示如何基于 Jina 搭建具体的应用。

图片

用三个词来概括我们在 2022 年的关键词——分享、联结、共创。期待在 2023 年,我们能够联合大家创造更多的不一样!

设计负责人 Kelly

我们设计的初衷是,希望能够通过一些有趣的、新颖的、亮眼的设计,将我们的开源文化传播出去,让越来越多的人地关注到 Jina AI。在我们的设计元素中,齿轮代表 Executor,巧克力块代表 Document,小火箭就是 Flow。这三个要素组合在一起就会发生很有趣的化学反应。就像 Jina AI 的产品一样,我们的设计希望通过将这三个基本元素组合起来,结合一些亮点,在每个节日中将节日氛围传送给大家。我们希望这些有趣的设计能够传达一种理念:其实开源技术并不是高不可攀,它也可以很有趣。

图片

2023年,我们会持续更新周边产品,继续为三个元素变装,让它们走到每一位用户的生活中。每个月月底,我们都会发布下个月的手机壁纸以及桌面,大家可以在我们的公众号后台留言获取壁纸桌面。未来,我们希望做一些宠物的周边,让我们的社区开发者把我们的周边产品用在生活中,而不是只是作为一个摆件。

📢 如果你还没有 1 月的壁纸,快来 Jina AI 后台留言!回复“1月”获取高清壁纸吧~

“兔”飞猛进

社区合作伙伴茶话会 - 感恩过往,砥砺前行

过去一年我们很开心跟20多家社区产生了联结合作,期待新一年可以继续搞事情!在本次活动中,我们邀请到了其中比较具有代表性的四家社区主理人跟大家一起聊聊。

图片

开源社@李小明

很高兴收到 Jina AI 的邀请来参加这个会议。先给大家介绍一下开源社。我们成立于 2014 年,是由志愿于开源事业的个人成员所组成的,目前参照阿帕奇的国际顶级开源基金会的治理模式,已经连接了数万名的开源人,聚集了上千名的社区成员和志愿者。

跟 Jina AI 在过去的一年里合作了非常多的活动,其中令我印象特别深刻的大概有两个:一个是「 Z 世代程序员脱口秀」,当时邀请了一批 00 后 - 90 后年轻的开发者同学跟社区成员做分享,让我们看到了年轻人的力量;第二个是「Hello World, Hello Kitty」,邀请了一批程序员带着自己的猫猫进行线上聊天。

我觉得这些活动举办得都非常棒,尤其是对我们的开发者社区来讲,感觉 Jina AI 更关注咱们社区成员个人的一种情绪上的价值,在个人情感联结上做得还是非常不错的。

LadiesWhoTech@Betty

我先来介绍下LadiesWhoTech,我们本身是一个提倡性别多元化和包容性的社区,在这里我们欢迎所有性别和职业的小伙伴加入。不只是专业的女性科技从业者,我们希望鼓励更多的女性可以参与到整个 STEAM 行业当中来,给大家提供独立成长的平台。

虽然大家都认为 2022 年是很魔幻的一年,但是我们也很开心可以在每一个季度都可以跟 Jina AI 携手去共创不同的线上的活动内容。稍微有点遗憾的是没能在线下跟 Jina AI 共创出更多的火花,但我们期待 2023 年大家可以齐心合力,一起“兔”飞猛进,在线下可以做更多的互动,跟更多的人产生联结。

开源江湖@阿萌

大家好,我是阿萌(又是熟悉的开场)我为什么要做“开源江湖”呢?是因为我觉得真正的开源文化并不只是你来写代码,我给你奖品这样简单的激励驱动。我希望通过“开源江湖”,大家可以去了解更多开源的知识。开源的这种协作方式是基于你对某种企业的愿景,或者对某种技术发展的方向、某个开源项目感兴趣,你加入到其中,通过自己的一些贡献(不仅是代码贡献,可能是做一些文档或者布道)都可以参与到开源项目中来。Jina AI 做的携带宠物的线上活动,跟我平时认知的其他开源社区不太一样。在 2023 年我们会合作一个《开源档案》,现在视频和脚本已经完成了,我们预计会在春节后发布,大家可以关注!

Datawhale@苏鹏
首先简单介绍一下 Datawhale,我们成立于 2018 年,主要是一些高校的老师、学生、在职的小伙伴们自发创建的开源组织,我们希望构建一个 AI 领域的开源学习型社区,能够帮助学习者们一起成长。基于这样的理念,我们在去年和 Jina AI 一起合作,打造了一个多模态、跨模态实践的课程,通过课程我们也帮助了大概有 200 位学生和在职群体,让他们了解到了Jina AI,帮助他们在学习和工作过程中拥有更大的竞争优势。最后祝愿 Jina AI 的小伙伴们新年快乐,兔年大吉!

大展鸿“兔”

社区明星成员们大展风采 - 分享有趣产品和新奇想法

YAHAHA@王博闻

YAHAHA是一个低代码的游戏编辑器,我们是希望能够帮助创作者打造属于他们自己的一个游戏、世界或者社交空间;希望我们用户能够通过以简单的、无代码的方式去打造他们自己个性化的一些游戏。我们发现 Jina AI 可以通过一些 Neural Search 的方式帮助我们用户有更多的搜索的方式(多模态搜索),不仅是传统的、以文字去搜模型,更可以通过图片、文字甚至是以模型去搜模型,这样非常方便。

OpenArt@平任

OpenArt 是一家 AIGC 领域的创业公司,我在工作中不得不从之前是一个单纯的前端工程师,变成了一个了解对 AI 有所了解的前后端或者全站工程师。在两个月之前,我需要在我们的后端服务上实现一个能够支持千万量级的图片搜索功能其中我觉得特别对我有帮助的一个开源项目就是Jina AI 的 CLIP-as-service,它作为开箱即用的服务,大大减少了我在我的这种开发的工作量,还有需要考虑的技术细节。

Thoughtworks@刘子健

Thoughtworks 是一家数字化咨询公司,我们致力于给客户提供最高质量的服务。在我们跟客户的有一次活动中,我发现客户可能会有一个基于多模态的神经搜索的需求。产生这个想法之后,我在去年夏天了解到了 Jina AI 的 DocArray,从开始看文档到写代码,再到开始测试和进行简单地部署,一天左右就做完了,其中也用到了 CLIP-as-service,这是一个非常好用的即插即用的工具。我能明显地感觉出来,Jina 在产品的打磨上以及文档的编写上非常用心,让没有很深的机器学习基础的开发者也能够很快上手。

此外,我们还邀请到大家所熟悉的社区明星们分享在 Jina 社区的感受:

Q:加入 Jina 社区之后,对开源、多模态有什么新的理解和认知?

李洪昌

去年很荣幸代表 Jina AI 参加了在上海举办的一个数字化转型的会议,接触到了很多开发者,感受到开发者对于Jina AI 的极大的兴趣和对多模态 AI 的关注。总体来说,通过跟 Jina AI 持续的了解,也感觉到 Jina AI 技术团队很有活力,希望在后续的过程中也是能以社区的一分子助力国内的 Jina AI 开源力量不断壮大。

Q:在和全球社区开发者的交流中,有哪些印象深刻的事情?

Orange

我是在 B 站上 Koala 老师的视频了解到 Jina AI 的,后来加入到 slack 社区,发现不管你什么时候提问,总会有人快速地响应我,真的是7*24h的团队!这也是因为 Jina AI 的工程师团队以及海外社区非常全球化,这一点非常棒,印象非常深刻。

Q:大开脑洞,你觉得 Jina 还能有哪些更多的使用场景?

叶坚白

从我自己的研究的角度而言,我其实觉得 Jina 有个特别好的使用场景,是关于模型部署和线上推理的自动化。最近这一两年在学界里面有个特别火的一个方向叫做深度学习的自动并行化。其实我有想到像之前王博老师介绍的 CLIP-as-service,也是可以通过 Jina 很快地去进行一个 CLIP 模型微服务的开发。其实我在想关于支持模型服务有没有可能做到一种自动化,让像我们这样的算法工程师或者研究人员,只需要按照他们正常的流程去开发一个深度学习的模型,让就可以通过 Jina 对他们研究的模型进行捕捉。通过一些比如像网络层的一些包装,或者像负载均衡的一些事情,可以把他们的模型快速地去部署成一个service。

刘畅

我也是基于自己的一些过往的科研经历,我的想法是从 demo 或者从我们可以构建哪些应用的方面来考虑的。因为我个人是研究 3D 、三维重建的,所以我感觉其实在应用方面也可以考虑一些基于人体的 3D 应用,比如可以利用一些深度学习的模型进行面部或者人体的三维重建,而且也可以跟用户进行交互,在重建之后可以让用户通过一些简单的操作,让他来编辑人脸的面部表情,让他尽可能真实。我个人觉得这个场景或许在元宇宙或者是 VR 之类的一些领域可能都可以得到应用。崔腾松我觉得多模态可以考虑在视频的智能生产里面,可以从视频、音频、弹幕里边可以抽取到多模态信息,从里面抽取到一些看点或者标签,把一些镜头或者片段形成一些我们的素材。根据素材,进行进一步的加工以及后期的一些视频的剪辑合成。还有一个功能就可以我们从一个大视频里面去关注某一个细节,比如我只想看他,或者只想找真人或者卡通人物,我们可以通过视频帧或者人脸帧图像量级检索它。还有在电商平台的应用,比如电商平台的智能客服,我们可以给客服发送图片或者视频的方式,让客服能够从这些不同的模态里面而区别以往的文字,它能进一步地能够识别这些其他模态的数据,进行自动地应答。在传感器方面的应用,我觉得包括一些智能空调,我们可以加入到加入一些语音交互、视觉识别的一些指令,通过屋内的人数以及位置因素来更精准地调控空调的温度。还有比如在智能汽车领域,可以给它加上一些摄像头,识别驾驶者的表情动作,看他是否疲劳驾驶。再比如智慧屏幕,实时地追踪人脸,谁在讲话就切到谁。

全新“兔”破

2023 Jina AI 社区全新项目公布

图片

JCAP 是一个社区和开发者共同成长的项目,我们希望大家可以发挥自己的优势,在深入参与开源社区中得到成长并发展自己的影响力。

如果你擅长社交,那么你可以报名成为城市英雄和校园大使,组织各地的社区成员线下交流;
如果你擅长分享,那么你可以报名成为布道师,利用自己的影响力推广开源项目;
如果你擅长技术写作,那么你可以输出高质量的技术博客。

我们将会给到大家 Jina AI 工程师的导师资源、限定款专属周边以及参与 Jina AI 主办的各项活动的优先参与名额。今年我们也将举行黑客马拉松,让大家有机会展示自己的技能和创造力。在这次黑客马拉松将会有来自全球各地的优秀工程师参与竞赛,让大家有机会学习新知识,与全球社区成员交流经验,并有机会获得丰厚的奖励。如果大家感兴趣的话,还可以扫描下方二维码进行报名!

图片

获奖用户名单

昨晚的多轮互动有超多小伙伴热情参与,恭喜以下同学获得超可爱的兔团团礼盒!

图片


JinaAI
21 声望9 粉丝

Jina AI 的愿景是铺设通往多模态 AI 的未来之路,我们是您通往多模态人工智能的最佳通道!