TiDB 组件 GC 原理及常见问题

4 月 7 日
阅读 12 分钟
32
本文详细介绍了 TiDB 的 Garbage Collection(GC)机制及其在 TiDB 组件中的实现原理和常见问题排查方法。 TiDB 底层使用单机存储引擎 RocksDB,并通过 MVCC 机制,基于 RocksDB 实现了分布式存储引擎 TiKV,以支持高可用分布式事务。 GC 过程旨在清理旧数据,减少其对性能的影响,主要包括四个步骤: 计算 GC safepoint...

TiDB 慢查询日志分析

4 月 7 日
阅读 5 分钟
32
TiDB 中的慢查询日志是一项 关键的性能监控工具,其主要作用在于协助数据库管理员追踪执行时间较长的 SQL 查询语句。 通过记录那些超过设定阈值的查询,慢查询日志为性能优化提供了关键的线索,有助于发现潜在的性能瓶颈,优化索引以及重构查询语句,从而提升数据库的整体性能。 本文将主要介绍 TiDB 中慢查询日志的功能...

TiDB MVCC 版本堆积相关原理及排查手段

4 月 7 日
阅读 7 分钟
23
本文介绍了 TiDB 中 MVCC(多版本并发控制)机制的原理和相关排查手段。 TiDB 使用 MVCC 机制实现事务,在写入新数据时不会直接替换旧数据,而是保留旧数据的同时以时间戳区分版本。 当历史版本堆积过多时,会导致读写性能下降。 为了解决这个问题,TiDB 使用 Garbage Collection(GC)定期清理不再需要的旧数据。 文章...

唐刘:关于产品质量的思考 - 如何评估质量

4 月 7 日
阅读 4 分钟
29
在上一篇文章《 关于产品质量的思考 - 我的基本认知 》中,作者通过亲身经历分享了对产品质量的思考和认知:高质量的产品不仅仅是通过测试来保证的,更是通过在真实场景中不断打磨和改进得来的。本文为“关于产品质量的思考”系列的第二篇,将以 TiDB 产品发版为例,探讨如何评估产品的质量。文章指出了仅仅根据漏出的 bug...

月活超 1.1 亿,用户超 4 亿,你也在用的「知乎」是如何在超大规模 TiDB 集群上玩转多云多活的?来听听知乎代晓磊的答案!

4 月 6 日
阅读 7 分钟
26
代晓磊,知乎数据库负责人,同时也是 TiDB 社区北京地区组织者,一位有着 13 年数据库从业经验的数据库老兵,对数据库运维及 TiDB 有着丰富的实践经验。在“2024 新年围炉茶会”中,他分享了《TiDB 在知乎实践的那些事》话题,回顾了最近两年知乎 TiDB 实践的最新进展 ,以及对数据库未来发 展方向的个人观点,本文根据代...

金融企业区域集中库的设计构想和测试验证

4 月 6 日
阅读 7 分钟
30
本文探讨了金融企业区域集中库的设计构想和测试验证,包括架构设想、数据库整合场景测试及优势和使用设想。作者提出利用 TiDB 数据库产品集中建设区域集中库,解决 MySQL 存量节点的整合问题,实现部署的标准化、按需扩展和统一运维管理。文章详细介绍了测试内容和结果,强调了区域集中库在建设和运行成本、服务质量等方...

以一当十丨TiDB 在东吴证券秀财 APP 的应用实践

4 月 6 日
阅读 3 分钟
19
本文介绍了东吴证券旗下东吴秀财 APP 在数据库转型中选择 TiDB 的思考与实践。 原有架构使用 MySQL 分库分表和 MongoDB,但面临着架构复杂、业务扩展性不足、性能问题、开发和运维负担重等挑战。为了有效应对这些问题, 东 吴证券选择 将 MySQL 分库分表和 MongoDB 替换为 TiDB。这一举措极大简化了架构,实现了兼容 MyS...

夯实智慧新能源数据底座,TiDB Serverless 在 Sandisolar+ 的应用实践

4 月 6 日
阅读 4 分钟
32
本文介绍了 SandiSolar+通过 TiDB Serverless 构建智慧新能源数据底座的思路与实践。作为一家致力于为全球提供清洁电力解决方案的新能源企业,SandiSolar+面临着处理大量实时数据的挑战。为了应对这一问题,SandiSolar+选择了 TiDB Serverless 作为他们的数据底座。TiDB Serverless 具有灵活扩展、按实际使用量付费、自...

数据库性能优化入门:数据库分片初探

4 月 5 日
阅读 5 分钟
34
本文介绍了数据库分片的定义、原理和实施方法。文章解释了数据库分片是如何通过将数据切分、分散存储在多个服务器上来提升性能,并对数据库分片与传统数据库的区别进行了详细对比,探讨了何时应该考虑进行数据库分片。文章介绍了几种常见的分片策略,包括基于键、基于范围、垂直和基于目录的分片,并分析了它们的优缺点...

TiDB 社区智慧合集丨解码 TiDB 性能谜题:让你的数据库发挥最强动力!

4 月 5 日
阅读 4 分钟
22
来自社区,回归社区。非常感谢各位 TiDBer 在之前 【TiDBer 唠嗑茶话会丨征集 TiDB 数据库性能优化大师,你是如何优化 TiDB 数据库性能的呐?】( [链接] )里提供的各种性能优化方法。这篇帖子收集整理了大家推荐的各个方面的 TiDB 数据库性能优化方法,欢迎各位 TiDBer 持续补充更新~

TiDB 实战分享丨第三方支付企业的核心数据库升级之路

4 月 5 日
阅读 3 分钟
16
本文介绍了一家第三方支付企业在面对市场竞争和监管压力的态势下,通过升级核心数据库来提升业务能力的实践。该企业选择 TiDB 分布式数据库,成功将其应用于核心业务、计费、清结算和交易查询等关键系统。TiDB 的水平扩展能力、高可用性和简化数据栈等优势,使该企业在处理高并发交易和保障数据安全方面取得了显著进展,...

唐刘:关于产品质量的思考 - 我的基本认知

4 月 5 日
阅读 3 分钟
25
我在文章《 TiDB in 2023 - 一次简单的回顾 》 中提到了一个我一直以来面临的问题:每次 TiDB 发布新版本后,我如何能够非常自信地告诉客户,这个版本的质量很好,大家可以放心使用呢?

AmzTrends x TiDB Serverless:通过云原生改造实现全局成本降低 80%

3 月 3 日
阅读 3 分钟
154
本文介绍了厦门笛卡尔数据(AmzTrends)在面临数据存储挑战时,选择将其数据分析服务迁移到 TiDB Serverless 的思路和实践。通过全托管的数据库服务,AmzTrends 实现了全局成本降低 80% 的效果,同时也充分展示了 TiDB Serverless 在简化架构、提升性能和降低成本方面的优势。未来,AmzTrends 计划继续利用 TiDB Serverl...

为什么说 TiDB 在线扩容对业务几乎没有影响

3 月 3 日
阅读 4 分钟
148
本文讨论了分布式数据库在在线扩容方面的挑战, 详细解释了一般分布式数据库和 TiDB 在扩容机制上的不同。 一般分布式数据库在进行在线扩容时,需要重新平衡数据分布,可能会影响系统的可用性和 IO 消耗。 相比之下,TiDB 的存算分离架构使得扩容对业务影响较小。

内含资料下载丨黄东旭:2024 现代应用开发关键趋势——降低成本、简化架构

3 月 3 日
阅读 2 分钟
327
作为一名工程师和创业者,创办 PingCAP 是我进入创新世界的一次深潜。这段旅程既有令人振奋的发现,也充满令人生畏的不确定性。作为这次探险之旅见证的 TiDB ,现在已在全球服务超过 3000 家企业,其中有已经实现了商业成功的大公司,也有很多初创企业。

TiDB 社区智慧合集丨TiDB 相关 SQL 脚本大全

2 月 23 日
阅读 12 分钟
293
非常感谢各位 TiDBer 在之前 【TiDBer 唠嗑茶话会 48】非正式 TiDB 相关 SQL 脚本征集大赛!( [链接] )里提供的各种常用脚本。

数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验

2 月 23 日
阅读 4 分钟
179
本文介绍了企查查在数据中台建设中使用 TiDB 的经验和应用。通过从 MySQL 到 TiDB 的迁移,企查查构建了基于 TiDB+ Flink 的实时数仓框架 ,充分利用了 TiDB 的分布式架构、MySQL 兼容性和完善的周边工具等特性,实现了数据的在线化处理。2023 年 9 月,企查查的 TiDB 数据库已升级至 v7.1.1 版本。文章还分享了企查查在...

Runaway Queries 管理:提升 TiDB 稳定性的智能引擎

2 月 23 日
阅读 7 分钟
250
在数字化系统扮演重要角色的今天,数据库稳定性成为企业关注的核心问题。对于重要计算机系统而言,突发的性能下降可能对业务造成不可估量的损失。为了稳定数据库性能,用户可以从管理流程入手规范变更的测试,或者利用产品手段减少预期外的变化。然而,这仍旧无法完全规避突发的SQL性能问题,其中的原因包括但不仅限于:

TiDB 7.5.0 LTS 高性能数据批处理方案

2 月 19 日
阅读 5 分钟
298
○ 到了 TiDB 6.1 版本,引入了 BATCH DML ( [链接] ) 功能,该功能可以将一个大事务自动拆成多个批次去处理,在单表基础上进行大批量更新、删除、写入时能够大幅提升处理效率,同时避免了大事务所产生的一些影响。

作业帮 x TiDB丨多元化海量数据业务的支撑

2 月 17 日
阅读 3 分钟
247
作业帮是一家成立于 2015 年的在线教育品牌,致力于用科技手段助力教育普惠。经过近十年的积累,作业帮运用人工智能、大数据等技术,为学生、老师、家长提供学习、教育解决方案,智能硬件产品等。随着公司产品和业务场景越来越丰富,数据量越来越大,业务方对数据库的使用需求也越来越多元化。本文介绍了作业帮对 TiDB ...

从 20 多套 MySQL 到 1 套 TiDB丨骏伯网络综合运营管理平台应用实践

2 月 17 日
阅读 3 分钟
249
骏伯网络是一家聚焦移动互联网营销服务的公司,综合运营管理平台是其核心业务系统,包括营销系统、订单、支付以及与外部系统的交互服务接口。为满足多元化的业务发展需求,降低系统间交互链路的复杂性,提升业务连续性,以及实现降本增效的整体规划,骏伯网络选择将 TiDB 作为综合运营管理平台的底层数据库。经过上线实...

使用 Coze 搭建 TiDB 助手

2 月 17 日
阅读 9 分钟
464
本文介绍了使用 Coze 平台搭建 TiDB 文档助手的过程。通过比较不同 AI Bot 平台,突出了 Coze 在插件能力和易用性方面的优势。文章深入讨论了实现原理,包括知识库、function call、embedding 模型等关键概念,最后成功演示了如何在 Coze 平台上快速创建 TiDB Help Bot 。

通过 Prometheus 编写 TiDB 巡检脚本(脚本已开源,内附链接)

2 月 16 日
阅读 18 分钟
257
神州数码钛合金战队是一支致力于为企业提供分布式数据库 TiDB 整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景,全部拥有 TiDB 高级资格证书,并活跃于 TiDB 开源社区,是官方认证合作伙伴。目前已为 10+ 客户提供了专业的 TiDB 交付服务,涵盖金融、证券、物流、电力、政府、零售等重点行业。

“分布式透明化”在杭州银行核心系统上线之思考

2 月 16 日
阅读 4 分钟
240
随着金融行业数字化转型的需求,银行核心系统的升级改造成为重要议题。杭州银行成功上线以 TiDB 为底层数据库的新一代核心业务系统,该实践采用应用与基础设施解耦、分布式透明化的设计开发理念,推动银行核心系统的整体升级。

一篇文章彻底搞懂 TiDB 集群各种容量计算方式

2 月 16 日
阅读 13 分钟
345
神州数码钛合金战队是一支致力于为企业提供分布式数据库 TiDB 整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景,全部拥有 TiDB 高级资格证书,并活跃于 TiDB 开源社区,是官方认证合作伙伴。目前已为 10+ 客户提供了专业的 TiDB 交付服务,涵盖金融、证券、物流、电力、政府、零售等重点行业。

黄东旭:“向量数据库”还是“向量搜索插件 + SQL 数据库”?丨我对 2024 年数据库发展趋势的思考

2 月 15 日
阅读 5 分钟
765
本文由 PingCAP 黄东旭撰写,讨论了数据库技术在 2023 年的快速变革,并对 2024 年的数据库发展趋势进行了预测。文章重点关注了 GenAI 时代对数据库的影响,提出了在数据库选择上的两种路径:“向量数据库”和“向量搜索插件 + SQL 数据库”。文章强调了个性化数据服务的重要性,以及数据库在实时交互和弹性方面所起到的关键...
封面图

TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘

2 月 15 日
阅读 4 分钟
327
2023 年已经过去,TiDB 经过了一年的迭代,又往前进步了一点点,我们非常自豪的看到,TiDB 正在不断地帮助我们的客户成功,包括但不限于:
封面图

TiDB 在医疗保障信息平台的应用实践

2 月 15 日
阅读 3 分钟
590
文章介绍了 TiDB 在医疗保障信息平台中的应用。东软医保云应用管理平台通过与 TiDB 联合,成功满足了医疗保障业务中高并发、实时性和复杂查询的要求。在某地市医疗保障信息平台的实践中,TiDB 分布式数据库有效实现了在线交易和实时分析服务,日均 QPS 达 22,000,总数据量接近 30TB,降低了系统开发和维护成本,推动医...
封面图

首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB × 杭州银行

1 月 12 日
阅读 2 分钟
121
日前,杭州银行新一代核心业务系统成功投产上线。 新核心系统是业内首个实际投产的云原生、分布式、全栈国产化的银行核心系统,是金融科技领域突破关键核心技术应用的重大实践。

神州数码集团荣获“TiDB 社区最佳贡献企业”

1 月 12 日
阅读 1 分钟
188
日前,神州数码在 TiDB 开源社区中获得了“TiDB 社区最佳贡献企业”奖。PingCAP 颁发该奖项以认可生态企业在社区中的卓越贡献和积极参与。