2021年10月18日,录信数软创始人兼CTO母延年在2021中国数据库技术大会上分享了“PostgreSQL在OLAP场景实战演练,支撑单节点百亿规模多维检索与统计”的主题演讲,这也是录信数软第二次参加DTCC数据库大会,同时录信数软重点打造的新一代轻量级检索分析型数据库LXDB首次公开亮相技术论坛。下面,我们一起回顾下本次分享内容。
本次DTCC大会以“数造未来”为主题,这也是录信数软第二次参加DTCC中国数据库技术大会,在2020年,我们带来了万亿实时数仓LSQL产品实践的主题分享,而在今年的大会中,我们带来了全新打造的新一代轻量级检索分析型数据库LXDB的实践分享。
在分享的最初,母延年首先介绍了录信产品规划的心路历程,从处理万亿数据的LSQL开始,录信一直致力于解决大数据场景下多套组件混搭的问题,尽可量在降低系统复杂性的同时提升数据库本身的检索分析性能。但是基于Hadoop的LSQL配置复杂,造成了后期运维成本的高启。基于此,录信的第二代产品HSQL采用了Hadoop+Hbase+Spark的架构,母延年称这一技术架构堪称心中最终版的全栈数据库。但是由于HSQL架构上相比于LSQL多了Hbase,这使得在处理现场问题时难度更大,并且同时精通Hadoop、Hbase、Spark的技术人员稀缺,也正是因为这些问题限制了第二代产品HSQL的发展。基于这些因素,在录信的第三代产品LXDB的打造上,选择了轻量级的产品架构,做到了单机1分钟,集群5分钟的超短部署时间。在保证功能完备性的同时采用了标准SQL接口,也使得运维和使用成本大幅降低,研发人员可以更加专注于索引层的开发。
在随后的分享中,母延年阐述了为何选择PG作为新产品实践的底层基础,母延年将PG的优势概括为:“成熟稳定、生态友好、插件多,同时以公司目前的技术经验,能有效提升PG在即席场景的性能”,在对PG进行深度优化之后,基于PG实现了数据的极速入库,在点查询、全文检索、统计分析上也实现了突破。
之后针对于新产品LXDB的架构、安装部署和集群模式进行了简单介绍,展示了新产品LXDB的一些特定,例如对于系统架构、硬件配合、部署方式的灵活选择,以及在功能上对于内存表、向量检索和地理位置检索的支持和性能参数等。
而后对于LXDB的一些特定的技术实现方法进行了介绍,并且对于LXDB的性能进行了展示:
在分享的最后,母延年总结了一下LXDB未来的研发方向,基本可以归纳为“内存计算、多表关联与图数据库、基于KD-TREE的空间划分和二进制搜索”,在未来的研发中要在进一步拓宽产品的应用场景的同时,提升产品的性能表现。
在主题演讲之后,我们的展台也迎来了许多希望咨询和试用产品的同学,针对于大家比较关注的为什么数据格式没有选择Clickhouse以及LXDB所提供的全文检索能力相比于PG自带的ES插件有何不同等问题进行了解答。前者主要是由于产品开发过程中对于技术经验的积累不同造成的,本身Clickhouse也是非常优秀的产品。而后者则是因为PG中的ES插件集成度较低,同时功能欠缺,不论是性能还是功能,都无法满足用户的多样化检索需求。
本次为期三天的数据库大会让我们能够接触到了当前中国数据库行业最为优秀的厂商,也进一步了解了当前数据库发展的技术趋势。在我们的下一步规划中,将会围绕着本次带来的新产品LXDB,进一步丰富产品的应用场景和使用性能,争取在明年的DTCC上分享更多技术实践干货!
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。