我们是如何设计 Golang & SQL 引擎课程的? | Talent Plan 背后的故事

2019-08-06
阅读 3 分钟
2.2k
在 上篇文章 中我们介绍了 PingCAP Talent Plan - TiKV 方向的课程内容,本文将从课程设计的角度和大家聊一聊 TiDB 方向的课程内容,包括课程设计的逻辑,和课程学习过程中常见的问题及解答等。

微众银行数据库架构演进及 TiDB 实践经验

2019-08-02
阅读 9 分钟
4.4k
作者介绍:胡盼盼,微众银行数据平台室室经理。硕士毕业于华中科技大学,毕业后加入腾讯,任高级工程师,从事分布式存储与云数据库相关的研发与运营工作;2014 年加入微众银行,负责微众银行的数据库平台的建设与运营。 黄蔚,微众银行数据库平台室高级 DBA。2011 年加入腾讯互动娱乐运营部,担任英雄联盟在内的多款海量...

云上 TiDB 管理「利器」,TiDB Operator 1.0 GA 发布

2019-07-31
阅读 2 分钟
2k
去年八月份,我们 开源了 TiDB Operator 项目,以实现 TiDB 在 Kubernetes 上的部署和运维。开源后到现在的近一年内,我们一方面基于用户反馈不断打磨项目的易用性,另一方面通过严苛的稳定性测试持续提升可靠性。今天,我们自豪地宣布 TiDB Operator 1.0 GA 正式发布!

TiKV 源码解析系列文章(十一)Storage - 事务控制层

2019-07-30
阅读 7 分钟
2.8k
TiKV 是一个强一致的支持事务的分布式 KV 存储。TiKV 通过 raft 来保证多副本之间的强一致,事务这块 TiKV 参考了 Google 的 Percolator 事务模型,并进行了一些优化。

DM 源码阅读系列文章(十)测试框架的实现

2019-07-24
阅读 6 分钟
1.9k
本文为 DM 源码阅读系列文章的第十篇,之前的文章已经详细介绍过 DM 数据同步各组件的实现原理和代码解析,相信大家对 DM 的实现细节已经有了深入的了解。本篇文章将从质量保证的角度来介绍 DM 测试框架的设计和实现,探讨如何通过多维度的测试方法保证 DM 的正确性和稳定性。

PingCAP 唐刘:如何利用混沌工程打造健壮的分布式系统?

2019-07-23
阅读 4 分钟
1.4k
作为混沌工程的重要推动者,Netflix 在混沌工程手册([链接])中谈到,在生产环境进行软件验证的想法通常会被嘲笑。过去,这句话基本都被翻译为“我们在发布之前不打算完善地验证这些代码”。在经典的测试链路中,寻找软件缺陷的普遍信条是离生产环境越远越好。例如,在单元测试中发现缺陷要比在集成测试中发现更好,这里...

DM 源码阅读系列文章(九)shard DDL 与 checkpoint 机制的实现

2019-07-18
阅读 7 分钟
1.7k
本文为 DM 源码阅读系列文章的第九篇,在 上篇文章 中我们详细介绍了 DM 对 online schema change 方案的同步支持,对 online schema change 同步方案以及实现细节等逻辑进行了分析。

我们是如何设计 Rust & 分布式存储教程的? | Talent Plan 背后的故事

2019-07-17
阅读 4 分钟
4.7k
许多人眼中的 PingCAP Talent Plan 可能就是 github.com/pingcap/talent-plan 这个项目,但从内容角度来说并不完整,这个 Repo 只是线上课程的内容,我们还有与其配套的线下课程。本文将从课程设计的角度和大家聊一聊 PingCAP Talent Plan(TiKV 方向)课程,包括课程设计的逻辑、课程设计中遇到的困难,以及大家在学习...

TiDB 在小红书从 0 到 200+ 节点的探索和应用

2019-07-12
阅读 8 分钟
2.7k
小红书使用 TiDB 历史可以追溯到 2017 年甚至更早,那时在物流、仓库等对新技术比较感兴趣的场景下应用,在 2018 年 5 月之后,我们就开始逐步铺开,延展到其他适合 TiDB 的场景中去。截止目前,小红书使用的 TiDB 节点数在 200+ 个,未来也有更大扩展空间。

TiKV 源码解析系列文章(十)Snapshot 的发送和接收

2019-07-10
阅读 6 分钟
1.8k
TiKV 使用 Raft 算法来提供高可用且具有强一致性的存储服务。在 Raft 中,Snapshot 指的是整个 State Machine 数据的一份快照,大体上有以下这几种情况需要用到 Snapshot:

TiKV 源码解析系列文章(九)Service 层处理流程解析

2019-07-08
阅读 5 分钟
1.6k
之前的 TiKV 源码解析系列文章介绍了 TiKV 依赖的周边库,从本篇文章开始,我们将开始介绍 TiKV 自身的代码。本文重点介绍 TiKV 最外面的一层——Service 层。

TiDB Binlog 源码阅读系列文章(二)初识 TiDB Binlog 源码

2019-07-05
阅读 3 分钟
1.6k
TiDB Binlog 主要由 Pump 和 Drainer 两部分组成,其中 Pump 负责存储 TiDB 产生的 binlog 并向 Drainer 提供按时间戳查询和读取 binlog 的服务,Drainer 负责将获取后的 binlog 合并排序再以合适的格式保存到对接的下游组件。

暑期特别企划 | 快来接收 PingCAP Talent Plan 的小惊喜!

2019-07-03
阅读 4 分钟
2k
PingCAP Talent Plan 学习通道自开通以来,收获了海内外小伙伴的密切关注,有 100 余名小伙伴参与到线上课程的学习中,第二期线下课程也于 5 月中旬圆满落幕。结合大家的意见,我们对 Talent Plan 的课程做了一些优化,并推出 Talent Plan 暑期特别企划,线上课程和线下课程都增加了一些新的元素~大家快来接收这一波“小...

TiDB 3.0 GA Release Notes

2019-06-29
阅读 6 分钟
1.7k
2019 年 6 月 28 日,TiDB 发布 3.0 GA 版本,对应的 TiDB Ansible 版本为 3.0.0。相比于 V2.1,V3.0.0 版本在以下方面有重要改进:

TiDB 3.0 GA,稳定性和性能大幅提升

2019-06-29
阅读 4 分钟
1.6k
TiDB 是 PingCAP 自主研发的开源分布式关系型数据库,具备商业级数据库的数据可靠性,可用性,安全性等特性,支持在线弹性水平扩展,兼容 MySQL 协议及生态,创新性实现 OLTP 及 OLAP 融合。

分布式数据库 TiDB 在知乎万亿量级业务数据下的实践和挑战

2019-06-27
阅读 10 分钟
3.8k
作者:孙晓光,知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。

DM 源码阅读系列文章(八)Online Schema Change 同步支持

2019-06-20
阅读 3 分钟
1.7k
本文为 DM 源码阅读系列文章的第八篇,上篇文章 对 DM 中的定制化数据同步功能进行详细的讲解,包括库表路由(Table routing)、黑白名单(Black & white table lists)、列值转化(Column mapping)、binlog 过滤(Binlog event filter)四个主要功能的实现。

TiDB Binlog 源码阅读系列文章(一)序

2019-06-18
阅读 3 分钟
1.3k
TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如 TiDB、MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。随着...

TiDB TechDay 巡讲启动!六城一起 High~

2019-06-13
阅读 2 分钟
1.2k
我感到自豪,因为我取得了第一个胜利,我毫不怀疑胜利是会接踵而至的。我做到了第一件做不到的事情,我也可以接着做下去。——王小波《我在荒岛上迎接黎明》

TiKV 源码解析系列文章(八)grpc-rs 的封装与实现

2019-06-13
阅读 7 分钟
1.3k
上一篇《gRPC Server 的初始化和启动流程》为大家介绍了 gRPC Server 的初始化和启动流程,本篇将带大家深入到 grpc-rs 这个库里,查看 RPC 请求是如何被封装和派发的,以及它是怎么和 Rust Future 进行结合的。

赋能社区,PingCAP University 培训课程 2.0 重磅升级

2019-06-11
阅读 2 分钟
1.5k
作为世界级的开源项目,经过四年的发展,TiDB 在越来越多的场景里落地,正逐渐被视为行业内的分布式数据库“事实标准”。随着用户社区技术服务体系的建立和优化,TiDB 社区力量日益壮大,在 GitHub 上已累计获得 Star 数近 2w,目前已有 300+  用户将 TiDB 用于线上生产环境,超过 1400 家进行测试 ,在互联网、银行、证券...

DM 源码阅读系列文章(七)定制化数据同步功能的实现

2019-06-06
阅读 5 分钟
1.3k
本文为 DM 源码阅读系列文章的第七篇,在 上篇文章 中我们介绍了 relay log 的实现,主要包括 relay log 目录结构定义、relay log 数据的处理流程、主从切换支持、relay log 的读取等逻辑。本篇文章我们将会对 DM 的定制化数据同步功能进行详细的讲解。

RustCon Asia 实录 | Rust 在国内某视频网站的应用

2019-06-04
阅读 12 分钟
2.6k
作者介绍:hawkingrei(王维真),中间件高级开发工程师,开源爱好者,TiDB & TiKV Contributor。WaySLOG(雪松),Rust 铁粉一枚,专注中间件,bug creator。

DM 源码阅读系列文章(六)relay log 的实现

2019-06-03
阅读 7 分钟
1.9k
本文为 DM 源码阅读系列文章的第六篇,在 上篇文章 中我们介绍了 binlog replication 处理单元的实现,对在增量复制过程中 binlog event 的读取、过滤、路由、转换以及执行等逻辑进行了分析。

势高,则围广:TiDB 的架构演进哲学

2019-05-31
阅读 14 分钟
2k
大家可能知道我是 PingCAP CEO,但是不知道的是,我也是 PingCAP 的产品经理,应该也是最大的产品经理,是对于产品重大特性具有一票否决权的人。中国有一类产品经理是这样的,别人有的功能我们统统都要有,别人没有的功能,我们也统统都要有,所以大家看到传统的国内好多产品就是一个超级巨无霸,功能巨多、巨难用。所以...

TiDB 在平安核心系统的引入及应用

2019-05-29
阅读 6 分钟
3.5k
2019 年 5 月 9 日,平安科技数据库产品资深工程师何志勇在第十届数据库技术大会 DTCC 上分享了《TiDB 在平安核心系统的引入及应用》,通过对 TiDB 进行 POC 测试,详细解析如何选择适用于金融行业级别的开源分布式数据库,以及平安“财神节”活动中引入 TiDB 的全流程应用实践案例分享。本文根据演讲内容整理。

诊断修复 TiDB Operator 在 K8s 测试中遇到的 Linux 内核问题

2019-05-27
阅读 6 分钟
2.3k
Kubernetes(K8s)是一个开源容器编排系统,可自动执行应用程序部署、扩展和管理。它是云原生世界的操作系统。 K8s 或操作系统中的任何缺陷都可能使用户进程存在风险。作为 PingCAP EE(效率工程)团队,我们在 K8s 中测试 TiDB Operator(一个创建和管理 TiDB 集群的工具)时,发现了两个 Linux 内核错误。这些错误已经...

TiKV 成功晋级 CNCF 孵化项目

2019-05-22
阅读 2 分钟
2k
今天,CNCF(Cloud Native Computing Foundation,云原生计算基金会)技术监督委员会(TOC)宣布已经投票决议通过,正式将 TiKV 从沙箱项目晋级至孵化项目。

Tedis:基于 TiKV 构建的 NoSQL 数据库

2019-05-22
阅读 4 分钟
3k
作者介绍:陈东明,饿了么北京技术中心架构组负责人,负责饿了么的产品线架构设计以及饿了么基础架构研发工作。曾任百度架构师,负责百度即时通讯产品的架构设计。具有丰富的大规模系统构 建和基础架构的研发经验,善于复杂业务需求下的大并发、分布式系统设计和持续优化。个人微信公众号 dongming_cdm。

TiKV 源码解析系列文章(七)gRPC Server 的初始化和启动流程

2019-05-16
阅读 4 分钟
1.4k
本篇 TiKV 源码解析将为大家介绍 TiKV 的另一周边组件—— grpc-rs。grpc-rs 是 PingCAP 实现的一个 gRPC 的 Rust 绑定,其 Server/Client 端的代码框架都基于 Future,事件驱动的 EventLoop 被隐藏在了库的内部,所以非常易于使用。本文将以一个简单的 gRPC 服务作为例子,展示 grpc-rs 会生成的服务端代码框架和需要服务...