银行交易系统 TiDB 在线缩容迁移

2019-05-16
阅读 2 分钟
2.2k
经历了上礼拜漫长的上线周期,终于有时间总结一下期间发生的故事。TiDB 是一款非常优秀的国产分布式 NewSQL 数据库,因其支持水平扩展性、强一致性、高可用性,从 18 年 3 月起已在国内银行的账务、支付类核心系统得到应用。

RustCon Asia 实录 | Distributed Actor System in Rust

2019-05-14
阅读 9 分钟
2.2k
大家好,我今天分享的是我们团队在做的 Distributed Actor System。首先我想说一下这个 Talk 「不是」关于哪些内容的,因为很多人看到这个标题的时候可能会有一些误解。

What’s New in TiDB 3.0.0-rc.1

2019-05-13
阅读 2 分钟
1.2k
2019 年 5 月 10 日,TiDB 3.0.0-rc.1 版本正式推出,该版本对系统稳定性,性能,安全性,易用性等做了较多的改进,接下来逐一介绍。

TiDB 3.0.0-rc.1 Release Notes

2019-05-13
阅读 4 分钟
1.3k
2019 年 5 月 10 日,TiDB 发布 3.0.0-rc.1 版,对应的 TiDB-Ansible 版本为 3.0.0-rc.1。相比 3.0.0-beta.1 版本,该版本对系统稳定性、易用性、功能、优化器、统计信息以及执行引擎做了很多改进。

DM 源码阅读系列文章(五)Binlog replication 实现

2019-05-08
阅读 4 分钟
1.5k
本文为 DM 源码阅读系列文章的第五篇。上篇文章 介绍了 dump 和 load 两个数据同步处理单元的设计实现,对核心 interface 实现、数据导入并发模型、数据导入暂停或中断的恢复进行了分析。本篇文章将详细地介绍 DM 核心处理单元 Binlog replication,内容包含 binlog 读取、过滤、路由、转换,以及执行等逻辑。文内涉及到...

TiDB Binlog 组件正式开源,前排开“坑”走起!

2019-05-06
阅读 1 分钟
1.5k
TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。TiDB ...

Golang Failpoint 的设计与实现

2019-05-05
阅读 12 分钟
5.5k
对于一个大型复杂的系统来说,通常包含多个模块或多个组件构成,模拟各个子系统的故障是测试中必不可少的环节,并且这些故障模拟必须做到无侵入地集成到自动化测试系统中,通过在自动化测试中自动激活这些故障点来模拟故障,并观测最终结果是否符合预期结果来判断系统的正确性和稳定性。如果在一个分布式系统中需要专门...

DM 源码阅读系列文章(四)dump/load 全量同步的实现

2019-04-28
阅读 5 分钟
2k
本文为 DM 源码阅读系列文章的第四篇,上篇文章 介绍了数据同步处理单元实现的功能,数据同步流程的运行逻辑以及数据同步处理单元的 interface 设计。本篇文章在此基础上展开,详细介绍 dump 和 load 两个数据同步处理单元的设计实现,重点关注数据同步处理单元 interface 的实现,数据导入并发模型的设计,以及导入任务...

首届 RustCon Asia 圆满落幕,Let's Rust the World!

2019-04-26
阅读 2 分钟
1.8k
4 月 23 日,为期 4 天的 RustCon Asia 在北京圆满落幕,300 余位来自中国、美国、加拿大、德国、俄罗斯、印度、澳大利亚等国家和地区的 Rust 爱好者参加了本次大会。作为 Rust 亚洲社区首次「大型网友面基 Party」,本届大会召集了 20 余位海内外顶尖 Rust 开发者讲师,为大家带来一天半节奏紧凑的分享和两天 Workshop ...

TiKV 源码解析(六)raft-rs 日志复制过程分析

2019-04-25
阅读 6 分钟
2k
RawNode::ready_since 从 Raft 节点中获取最近的更新,包括新近追加的日志、新近确认的日志,以及需要给其他节点发送的消息等;

贝壳金服 TiDB 在线跨机房迁移实践

2019-04-23
阅读 5 分钟
1.9k
贝壳金服聚焦于居住场景,在租赁、买卖、家装、安居等场景中为用户提供定制化的居住金融服务。贝壳金服以独家大数据与场景风控能力见长,致力于解决居住金融需求,以Fintech驱动产业升级,让每个家庭都能享受高品质的居住生活。

PingCAP University 免费开放线上课程,快来点亮「TiDB DBA」技能点吧!

2019-04-22
阅读 2 分钟
2.2k
去年年底 我们启动了 PingCAP University 培训认证计划,获得了社区伙伴们的广泛响应。PingCAP University 已经开展五期线下培训,百余名学员在 PingCAP 北京&上海 Office 参加了为期 4 天的 PCTP 线下培训,大家表示干货密度相·当·高。

终极讲师介绍:集齐 27 位讲师召唤亚洲首届 Rust 开发者大会!

2019-04-19
阅读 6 分钟
3.1k
RustCon Asia 进入倒计时!就在这个周六,将有 300+ 位开发者齐聚北京,参加亚洲最大的 Rust 语言开发者大会 RustCon Asia。此次大会几乎将聚集全部 Rust 中国社区的资深开发者和已在生产环境应用的中国本土的 Rust 项目,以及来自亚洲之外的欧洲、澳洲、北美的顶尖开发者们。大家都约好面基了吗?

TiDB 在银行核心金融领域的研究与两地三中心实践

2019-04-18
阅读 6 分钟
1.7k
作者介绍:于振华,北京银行软件开发部资深架构师,长期从事银行核心系统研发、规划,参与过多个核心信息系统建设工作,包括一、二代支付系统、第四代银行核心系统建设、分布式核心系统建设等企业级项目工作。当前主要研发方向集中在构建先进、高效、面向 OLTP 的银行交易系统,提升银行信息系统服务能力。

在 RustCon Asia 开启之前,聊聊 Rust 中国社区那些事

2019-04-15
阅读 3 分钟
3k
亚洲首届 RustCon Asia 将在 4 月 20 日于北京开启(也就是下周六啦~),大会为期 4 天,包括 20 日全天和 21 日上午的主题演讲以及 22-23 日的多个主题 workshop 环节。随着大会渐渐临近,很多小伙伴已经兴奋的搓搓手了,不如今天来聊聊 Rust 中国社区的成长史,再打一波鸡血?

DM 源码阅读系列文章(三)数据同步处理单元介绍

2019-04-11
阅读 3 分钟
1.3k
本文为 DM 源码阅读系列文章的第三篇,上篇文章 介绍了 DM 的整体架构,DM 组件 DM-master 和 DM-worker 的入口代码,以及两者之间的数据交互模型。本篇文章详细地介绍 DM 数据同步处理单元(DM-worker 内部用来同步数据的逻辑单元),包括数据同步处理单元实现了什么功能,数据同步流程、运行逻辑,以及数据同步处理单...

与顶尖 Rust 开发者面基指南(一) | RustCon Asia

2019-04-04
阅读 4 分钟
3.2k
距离 4 月 20 日 RustCon Asia 大会  开启只剩下约两周的时间了,你准备好了吗?此次 RustCon Asia 是首次在亚洲举办的 Rust 语言开发者大会,也是目前亚洲地区规格最高,参与人数规模最大的 Rust 语言大会。不仅有来自亚洲社区的大神,还有从欧洲、澳洲、北美远道而来的顶尖开发者。现场特地配备了中英双语同声传译,以...

一个从基础到实战的学习机会:Go & Rust、分布式数据库系统 | PingCAP Talent Plan

2019-04-04
阅读 3 分钟
3k
TiDB 每一次微小进步都离不开广大社区小伙伴们的支持,但也有很多同学反映 TiDB 是一个非常复杂的分布式数据库系统,如果没有相关知识和经验积累,在参与之初难免会遇到各种问题。因此我们决定全面升级 PingCAP Talent Plan 计划,为社区小伙伴开放一系列关于编程语言、数据库及分布式系统的线上课程,线上考核成绩优异...

Kubernetes 中如何保证优雅地停止 Pod

2019-04-02
阅读 5 分钟
1.9k
一直以来我对优雅地停止 Pod 这件事理解得很单纯:不就利用是 PreStop hook 做优雅退出吗?但最近发现很多场景下 PreStop Hook 并不能很好地完成需求,这篇文章就简单分析一下“优雅地停止 Pod”这回事儿。

TiKV 源码解析(五)fail-rs 介绍

2019-04-01
阅读 5 分钟
2.4k
fail-rs 的设计启发于 FreeBSD 的 failpoints,由 Rust 实现。通过代码或者环境变量,其允许程序在特定的地方动态地注入错误或者其他行为。在 TiKV 中通常在测试中使用 fail point 来构建异常的情况,是一个非常方便的测试工具。

TiDB 3.0.0 Beta.1 Release Notes

2019-03-27
阅读 3 分钟
1.5k
2019 年 03 月 26 日,TiDB 发布 3.0.0 Beta.1 版,对应的 TiDB-Ansible 版本为 3.0.0 Beta。相比 3.0.0 Beta 版本,该版本对系统稳定性、易用性、功能、优化器、统计信息以及执行引擎做了很多改进。

What’s New in TiDB 3.0.0 Beta.1

2019-03-27
阅读 2 分钟
1.5k
今年 1 月份,我们发布了 TiDB 3.0.0 Beta 版本,DevCon 上也对这个版本做了介绍,经过两个月的努力,今天推出了下一个 Beta 版本 3.0.0 Beta.1。让我们看一下这个版本相比于之前有什么改进。

DM 源码阅读系列文章(二)整体架构介绍

2019-03-26
阅读 4 分钟
2.3k
本文为 DM 源码阅读系列文章的第二篇,第一篇文章 简单介绍了 DM 源码阅读的目的和规划,以及 DM 的源码结构以及工具链。从本篇文章开始,我们会正式开始阅读 DM 的源码。

RustCon Asia 讲师和议程公布!

2019-03-22
阅读 3 分钟
1.9k
RustCon Asia 上线 CFP(Call For Proposals)接受议题提交的两周时间里,我们共计收到了中英文议题 50 份!内容非常丰富并且比我们预期的更加多元,在此特别感谢关注此次大会并提交议题的潜在讲师们!

DM 源码阅读系列文章(一)序

2019-03-20
阅读 3 分钟
2k
TiDB-DM 是由 PingCAP 开发的一体化数据同步任务管理平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步,在 TiDB DevCon 2019 正式开源。作为一款连接 MySQL/MariaDB 生态和 TiDB 生态的中台类型产品,DM 获得了广泛的关注,很多公司、开发者和社区的伙伴已经在使用 DM 来进行数据迁移和管理。随着大...

TiFlash & TiSpark?那都是 AP 团队开的坑 ! | PingCAP 招聘季

2019-03-15
阅读 3 分钟
3.1k
前面两期我们介绍了 TiDB 团队和 TiKV 团队,颇受好评,今天我司数据库专家马晓宇老师将为大家介绍 PingCAP 最具活力的团队—— AP(Analytical Product) 团队,如果你对亲手打造酷炫的大数据分析产品感兴趣,就快快投个简历来和我们聊聊吧~

TiKV 源码解析系列文章(四)Prometheus(下)

2019-03-14
阅读 9 分钟
1.4k
本文为 TiKV 源码解析系列的第四篇,接上篇继续为大家介绍 [rust-prometheus]。上篇 主要介绍了基础知识以及最基本的几个指标的内部工作机制,本篇会进一步介绍更多高级功能的实现原理。

想玩转分布式存储引擎?快来加入 TiKV 团队吧 | PingCAP 招聘季

2019-03-12
阅读 6 分钟
1.8k
上周我们推送了 TiDB 团队职位解读文章,当天就有很多简历砸来,我们深深感受到了小伙伴们的热情~ 趁热打铁,今天我司首席架构师唐刘老师将带大家了解一下传说中「面试通过率最低、难度最高」的研发团队——TiKV 团队。

TiKV 源码解析系列文章(三)Prometheus(上)

2019-03-11
阅读 7 分钟
1.8k
本文为 TiKV 源码解析系列的第三篇,继续为大家介绍 TiKV 依赖的周边库 [rust-prometheus],本篇主要介绍基础知识以及最基本的几个指标的内部工作机制,下篇会介绍一些高级功能的实现原理。[rust-prometheus] 是监控系统 [Prometheus] 的 Rust 客户端库,由 TiKV 团队实现。TiKV 使用 [rust-prometheus] 收集各种指标(m...

TiDB 团队:一群无法抑制内心技术骚动的人 | PingCAP 招聘季

2019-03-08
阅读 5 分钟
2.1k
本文是 PingCAP 招聘职位深度解读系列的第一篇,我司 Engineering VP 申砾老师将为大家介绍 TiDB 团队(一群无法抑制内心技术骚动的人!)。