从北京回来两天,精神依旧亢奋(精神食粮的力量),但身体略显疲惫(肥宅体质太弱),缓了两天沉淀一下才动笔记录下这次 DTC 2024 之旅。大佬们和各大厂商已经纷纷发表回顾,我这正好建个索引,以期帮助网友们继续围观、讨论本次嘉年华。

DTC1,全称,Data Technology Carnival,意为,数据技术嘉年华,是由 中国数据库联盟 ACDU 和 墨天轮 主办,这是第十三届,却是我第一次线下参加。

这次参展没看到 Oracle 红色 logo,但是每个场次却又在讨论 Oracle,有趣,妙蛙~

0. 晒单

依照惯例,先晒战利品。

本次参会喜提贴纸若干,笔记本快贴满了,不过 C 位好像还有空。

以及参会证和工作证两张,特此感谢小墨(们)同意我来帮忙搬了两个箱子。

言归正传,简单聊聊这次参会见闻,可谓干货满满,收获颇丰。

时间原因,分身乏术,只是挑选了自己感兴趣的场次来观摩学习,文中故而有所侧重。

1. Vector & AI & RAG 是 24 年主题词

去年火热讨论的 LLM,已经出现了很多产品,走在前沿的大厂已经开始利用大模型重构知识库,优化业务流程,甚至对外提供商业服务和解决方案,LLM 不再只是学术讨论,而是已经进入千家万户,比如科大讯飞的星火认知大模型。

关于大模型,可参阅:戴明明 的课题:大模型对数据库运维的赋能 (PPT2 已可免费下载)

而今年,更多的将会是超越 LLM 转而讨论 Vertor DB、Gen-AI 和 RAG。

关于向量数据库,DB-Engine 已经有单独的门类。

矢量数据库管理系统,通常简称为矢量数据库,是针对高维矢量数据的高效存储、索引和查询而优化的系统。 它们使用专门的算法和数据结构来支持相似性搜索,通常用于机器学习或数据挖掘,重点关注性能、可扩展性和灵活性。 矢量 DBMS 通常可以处理多种数据类型,包括数字、文本和二进制。 它们可以存储与每个向量相关的元数据,并且可以有效地存储稀疏向量。

并列出了流行的 14 款向量数据库产品。

如果包括支持向量的多模数据库,则共有 25 款产品。

在中国数据库排行榜中,目前共有 11 款向量数据库产品参与其中。

关于更多 Vector DB 的内容,可参阅:尹海文总监 的【Oracle Vector DB】合集3

关于 Gen-AI 和 RAG,本次 DTC 共有三位嘉宾开讲相关内容,分别是:

  1. 姚维:Gen AI 时代趋势中的 TiDB 进展 (PPT4 已可免费下载)
  2. 郑喜亮:腾讯云向量数据库与您共建高质量RAG
  3. 陈茏久:Gen-AI时代的智能化一站式数据库

(上图截取自,Gen AI 时代趋势中的 TiDB 进展)

那么,怎么用 RAG 或者如何落地,姚维先生给到了一个参考样例:

一个基于 TiDB Serverless Vector Storage 的会话式搜索 RAG(检索增强生成)应用程序,根据您在官方和文档网站上的知识提供开箱即用且可嵌入的 QA 机器人体验。

这款应用的名字是:TiDB.AI5

2. 国产数据库持续发力

All in One?

国产数据库的话题总是离不开“兼容”二字,兼容 Oracle, MySQL, PostgreSQL, MongoDB, Redis, etc.

不只兼容语法,还要兼容错误码,真是太难了。。。

“数据库嘛,存储数据的地方,从A库导出,再导入B库就可以了嘛。如此简单,还要适配啥呢。”

然,国产数据库卷的“不可救药”,不仅要兼容国际主流数据库,以方便迁移,

(毕竟很多人认为异构数据库迁移也可以不改代码)

还要做上下游的国产化适配,所以经常可以在墨天轮看到 xxx 数据库厂商与 xxx OS 或中间件兼容适配。

或许,有一天,xxx 数据库厂商,也会与 xxx 数据库厂商兼容呢,300 家国产库厂商相互适配会是多大的笛卡尔积 ...

会不会有一款数据库,同时兼容各大主流数据库,并支持多模,并支持向量 AI,并支持超融合,并支持 ...

大小不重要,效率很重要

之前介绍过,Oracle 23c 的容器镜像 需要 9G 空间,从下载到拉起只需 10 几分钟(取决于网速),这,对于开发者是非常友好的,开箱即用,大大提升开发环境准备的效率,以及程式测试的效率。

咱就说,开发中,这点空间算什么 。。。

提到容器镜像,就必须要再提一下 《最好的PostgreSQL学习镜像》 ,简直不要太全了,《PolarDB开源思考与实践》议程可以走神,但德哥和萧主席的歌要听,毕竟是嘉年华最嗨点。

再比如,前几日介绍过 震惊!数据库小白装国产数据库只需10分钟!

其实,还有更加便捷的通道,就是 TiDB Cloud6 ,免费试用,每账户有 25G 存储空间,真香。

如果你还在为个人博客站点的机器付费,比如个人云主机搭建 WP + MySQL,那么不妨考虑迁移到 TiDB Cloud + Vercel。

关于 TiDB Cloud,推荐阅读:https://asktug.com/t/topic/1003128

性能不重要,环保很重要

源自 吕海波(Vage)老师的议题《后摩尔定律时代的数据库研发》(PPT7 已可免费下载)。

(吕老师的课要认真听讲,稍不留神,可能还是听不懂。。。)

在后摩尔时代,CPU 主频提升放缓,大小核、N 多核概念应运而生,业界只说多少 C 而不再强调主频多少 G,

而绿色能源低碳环保的大格局则不断提升重要性,碳中和第一位,算力次之。

对于数据库来说,也许,TPC 测试结果只是一个数字,不再是选型的首要条件,

总数据量与机器数量的比值,或者,计算能力与机器数量是否线性正相关且没有拐点,更为重要。

3. 生态工具适配颇具挑战

本次嘉年华,有三个数据库工具值得细细研究,PPT 已可免费下载:

  1. 云原生智能数据管理平台 NineData:叶正盛:NineData在10000公里跨云数据库间实时数据复制技术原理与实践8
  2. 革命性内核工具 eBPF:张纪宽:DBdoctor:利用eBPF技术实现数据库智能诊断与优化9
  3. DBDevOps 工具 Bytebase:陈天舟:全球数据库生态软件:现状、趋势与机遇10

这三种不同类型的工具,适用于不同场景,比如遇到投产审核 SQL 时,会用到 Bytebase,遇到性能问题时,会用到 DBdoctor,上云、跨云、跨库传输数据时,会用到 NineData。

近几年,各大数据库厂商都在变更发版模型,数据库已不再是传统意义上的基础设施,而变成了一项服务。版本快速迭代的好处在于可以快节奏引入新特性并有试错的空间,并且可以及时修复 bug,用户也可以及时升级,解决影响。但是有些大版本升级,却无法支持原地升级,还需要通过数据传输工具将老版本的数据迁移到新版本,这其实,对于生态工具也是考验,需要不断进行适配工作然后升级工具的版本,适配的工具产生了“保质期”,产品越多、版本越多,生态工具适配也将变得繁重。

4. 大佬、卷王们的线下面基

嘉年华是难得一遇的盛典,这次与好多群友是第一次线下面基,也见到了很多大佬。

(略有遗憾,没找到合适的机会与大佬们单独合影)

卷王们连休息时都在讨论后面要继续卷什么。

按时间顺序排列,看看大佬、卷王们的 DTC 回顾。

5. 厂商们的回顾

这里也收集、整理了一些赞助商和参会厂商的 DTC 回顾,列表如下。

6. 未完待续

这里有一本新书预告,薛晓刚老师的《DBA 实战手记》,过段时间将会上市发行,欢迎关注。

后续再聊聊分会场的具体见闻,比如 《DTC 2024 & TiDB 观感实录》。

-- END --

如果这篇文章为你带来了灵感或启发,就请帮忙点『赞』or『在看』or『转发』吧,感谢!(๑˃̵ᴗ˂̵)

本文由mdnice多平台发布


严少安
6 声望4 粉丝

DBA