TiKV 源码解析系列文章(二十)Region Split 源码解析

2020-09-02
阅读 6 分钟
2.7k
在学习了之前的几篇 raft-rs, raftstore 相关文章之后(如 Raft Propose 的 Commit 和 Apply 情景分析,Raftstore 概览等),raft-rs 以及 raftstore 的流程大家应该基本了解了。其中 raft-rs 解决的是单个 Raft group(即单个 Region) 的问题,raftstore 解决的是多个 Raft group (即多个 Region)的问题。Split 和 M...

TiKV 源码解析系列文章(十九)read index 和 local read 情景分析

2020-08-27
阅读 4 分钟
1.7k
在上篇文章中,我们讲解了 Raft Propose 的 Commit 和 Apply 情景分析,相信大家对 TiKV 的 Raft 写流程有了大概了解。这篇文章将尝试向大家较为完整的介绍下 TiKV 中的 Raft 读流程的实现,特别是 read index 和 lease read(或称 local read)。关于 read index 和 lease read 的介绍和理论基础,请大家参阅 TiKV 功能...

Chaos Mesh® X GitHub Actions —— 把混沌工程集成到你的 CI 中

2020-08-21
阅读 5 分钟
2.6k
本文将介绍如何在 GitHub Actions 的 workflow 中使用 Chaos Mesh,从而将混沌工程集成到系统开发的 CI 中。

使用 Horoscope 测试 TiDB 优化器

2020-08-19
阅读 6 分钟
1.3k
优化器在数据库中一直位于至关重要的位置,性能调优也常常需要围绕优化器来进行。作为数据库厂商,我们希望在各类复杂的业务场景中,TiDB 都能够给出比较理想的执行计划,因此在优化器和执行器上做了非常多的工作和努力,但是选错执行计划或者索引的情况仍然是日常中最为常见的一个问题。

Libbpf-tools —— 让 Tracing 工具身轻如燕

2020-08-12
阅读 3 分钟
1.7k
BPF 最初代表 Berkeley Packet Filter,但在 Linux 中已扩展为通用内核执行引擎,能够运行新型的用户定义和内核模式应用程序。近几年来,BPF 子系统越发火热,迄至 Linux 5.8 内核,Linux 内核已经支持 30 种 eBPF 程序类型,遍布于内核各个角落,引起了广泛关注及热议,在 LWN 上甚至出现过 Why don't we rename Linux ...

TiDB 的列式存储引擎是如何实现的?

2020-08-07
阅读 9 分钟
2.7k
TiDB 是一款分布式 HTAP 数据库,它目前有两种存储节点,分别是 TiKV 和 TiFlash。TiKV 采用了行式存储,更适合 TP 类型的业务;而 TiFlash 采用列式存储,擅长 AP 类型的业务。TiFlash 通过 raft 协议从 TiKV 节点实时同步数据,拥有毫秒级别的延迟,以及非常优秀的数据分析性能。它支持实时同步 TiKV 的数据更新,以及...

TiDB 4.0 新特性在电商行业的探索

2020-08-04
阅读 4 分钟
1.3k
分库分表是一个非常普遍的问题,会增加我们业务逻辑的复杂性,并且多维度的 mapping 可能导致我们整体性能的下降。有了 TiDB 我们可以不用再考虑分库分表,不再需要写那么多的复杂逻辑。

Why HTAP Matters

2020-08-03
阅读 6 分钟
1.6k
说到 Why HTAP Matters,其实包含两部分,一部分是说为什么我们叫 HTAP,另外一部分是说 TiDB 怎样在 HTAP 架构下发挥它的优势。

伴鱼数据库选型的思考,为什么我们 all in TiDB

2020-07-31
阅读 7 分钟
2.7k
技术选型是由技术方向和业务场景 trade-off 决定的,脱离业务场景来说技术选型是没有任何意义的,所以本文只是阐述了伴鱼技术团队数据库选型的过程,这并不是 MySQL、MongoDB 和 TiDB 之间直接的比较,只能说明 TiDB 更适合伴鱼的业务场景和技术规划,另外由于 TiDB 是非常新的数据库技术,所以这也能体现出伴鱼技术团队...

TiDB 4.0 为解决热点问题做了哪些改进?

2020-07-29
阅读 5 分钟
2.3k
一直以来,TiDB 的数据访问热点问题,是用户比较关注的问题。为什么这个问题如此突出呢?这其实是“分布式”带来的结构效应。单机数据库由于只有一个节点,是不存在热点问题的(因为性能的上限就是单机的处理能力),而分布式数据库集群存在多个节点,在达到存储扩展、读写能力扩展的目的上,我们希望大量的读写压力能够平摊...

从 Exadata 到 TiDB,中通快递 HTAP 实践

2020-07-24
阅读 4 分钟
1.7k
中通快递业务的规模目前是世界第一,是第一个达成年百亿业务量的快递企业,在 2019 年的双十一更是完成了订单量超过 2 亿的佳绩。中通科技是中通快递旗下的互联网物流科技平台,拥有一支千余人规模的研发团队,秉承着“互联网+物流”的理念,与公司的战略、业务紧密的衔接,为中通生态圈的业务打造全场景全链路的数字化平...

PingCAP 与知乎达成战略合作 助力知乎全场景体验优化

2020-07-21
阅读 2 分钟
2.3k
近日, PingCAP 与知乎达成战略合作,将从产品与技术、社区与内容以及人才培养等方面展开长期深入的战略合作,双方将充分发挥和共享各自优势,共同推动知乎全场景体验优化以及 TiDB 社区用户生态的发展。

Chaos Mesh® 正式进入 CNCF 沙箱托管项目

2020-07-21
阅读 2 分钟
2.3k
近日,云原生计算基金会 (CNCF) 宣布云原生的混沌工程 Chaos Mesh 正式进入 CNCF 沙箱托管项目,这是 CNCF 接纳的第二个由 PingCAP 团队设计并研发的项目。

TiDB 在北京银行交易场景中的应用实践

2020-07-17
阅读 4 分钟
2.7k
北京银行是一家城市商业银行,公司价值位列中国区域性发展银行的首位,依托于中国经济的大环境,北京银行的资产总量在全球千家大银行中名列第 61 位,连续六年跻身全球银行业百强。北京银行积极开辟多元化的业务经营,例如北京地区的社保缴纳和医保代发,都是由北京银行在提供服务,在你入职一家公司的时候,收到的医保...

TiDB HTAP 助力小红书业务升级

2020-07-15
阅读 5 分钟
1.8k
2017 年,小红书已经开始在生产业务中使用 TiDB ,真正成体系的去做 TiDB 的落地是在 2018 年,为什么要选择使用 TiDB ?

为什么你需要混沌工程以及 Chaos Mesh®

2020-07-14
阅读 3 分钟
1.6k
在我最开始学习编程的时候,我一直觉得写程序是很简单的事情,程序总是按照我的想法串行的执行,给一个输入,总是有着符合预期的固定输出。那时候写代码,可能大的挑战在于理解分支,循环,但无论怎样,只要控制得当,事情总是确定的。

知乎 Hive Metastore 实践:从 MySQL 到 TiDB

2020-07-10
阅读 3 分钟
3.8k
Apache Hive 是基于 Apache Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并且提供了 Hive SQL 进行查询和分析,在离线数仓中被广泛使用。Hive Metastore 是 Hive 的元信息管理工具,它提供了操作元数据的一系列接口,其后端存储一般选用关系型数据库如 Derby、 MySQL 等。现在很多除了 Hive ...

TiDB 4.0 在 VIPKID 的应用实践

2020-07-09
阅读 7 分钟
1.5k
本文主要分享 TiDB 4.0 版本在 VIPKID 的一个应用实践。主要涉及两个部分,第一部分是现在 TiDB 在 VIPKID 的一些应用场景,第二部分是介绍一下 TiDB 4.0 给我们带来哪些惊喜和收益。

分布式数据库在光大银行关键业务系统的应用探索

2020-07-06
阅读 6 分钟
2.5k
大家好,我是来自中国光大银行信息科技部的王志刚,非常高兴有机会给大家分享一些分布式数据库在光大银行的应用探索。我目前在光大银行银行信息科技部负责数据库管理团队,在加入光大银行之前在三星、索尼爱立信,还有 Oracle 工作过,一直在负责数据库相关的工作。在近十年我和我的团队一直负责光大银行总行的数据库运...

使用 TiDB 作为 ZaloPay 商户平台核心数据库

2020-07-03
阅读 3 分钟
1.4k
首先介绍一下 VNG。VNG 是越南领先的互联网科技公司,在 2014 年,我们被评为越南唯一一家估值 10 亿美元的创业公司。VNG 推出了许多重要产品,比如 Zalo、ZaloPay、Zing 等,吸引了数亿用户。Zalo 是 VNG 集团的旗舰产品,发布于 2012 年,是越南使用最广泛的通讯 APP,目前活跃用户数达到 1 亿。而本文主角 ZaloPay 是...

Talent Challenge Program:专属在校大学生的远程实习培养计划来啦!

2020-07-02
阅读 2 分钟
1.4k
2020 开年的一场疫情,打得我们措手不及,往年一直幻想着可以有一个不用开学的假期,现在开学也变得遥遥无期,原本准备的暑期实习也因为不能到现场,一个个泡汤。这个暑假,还能做点什么才不虚度光阴?

TiDB 在中国银行 Zabbix 监控方案中的应用

2020-07-01
阅读 5 分钟
1.4k
本文的内容可能和之前的金融企业将 TiDB 应用在业务上的实践不同,下面主要介绍我们如何把 TiDB 应用在金融行业的后台运维监控上。Zabbix 作为一个老牌的开源监控方案,长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储,无法应对更大规模的监控。TiDB 兼容 MySQL 协议,可以替换 MySQL 从而增强 Zabbix ...

基于 Chaos Mesh® 和 Argo 打造分布式测试平台

2020-06-30
阅读 6 分钟
2.8k
不久前我们开源了基于 Kubernetes 的混沌测试工具 Chaos Mesh®,Chaos Mesh 提供了模拟系统异常状况的能力,但这只是混沌工程中的一环,完整混沌工程核心原则包含了系统稳定状态的定义、提出假设、运行实验以及验证和改进。

海外直播软件 Bigo 的 TiDB 4.0 线上实践

2020-06-24
阅读 4 分钟
1.8k
Bigo 于 2014 年成立,是一家高速发展的科技公司。Bigo 基于强大的音视频处理技术、全球音视频实时传输技术、人工智能技术、CDN 技术,推出了一系列音视频类社交及内容产品,包括 Bigo Live、Likee、imo、Hello 语音等,在全球已拥有近 4 亿月活用户,产品及服务已覆盖超过 150 个国家和地区。

基于 TiDB 开源社区的友邻合作伙伴体系构建

2020-06-23
阅读 4 分钟
2.9k
2020 年 PingCAP 合作伙伴生态体系构建全面启动,基于 TiDB 社区,秉承开放平等的全新社区化合作伙伴生态理念,产业生态合作、解决方案合作、联合技术中心等众多计划百花齐放,下面介绍一下我们的合作伙伴生态体系理念、整体框架和一些落地成果。

TiDB 异构数据库复制最佳实践

2020-06-19
阅读 5 分钟
1.9k
作者简介:秦天爽,PingCAP 解决方案事业部架构总监。 纵观现有业务系统的分布式改造,其中一个难点在于数据库的迁移: 迁移使用全量还是增量? 在线还是离线? 使用现成的工具还是开发作业? …… 用户往往面对多种选择。下面将为大家分享 PingCAP 团队在多年的实践中积攒的大量异构平台迁移经验,以及数据库复制技术的更...

日本大型移动支付软件 PayPay 的 TiDB 迁移实践

2020-06-19
阅读 4 分钟
2.3k
作者简介:Munenori Hirakawa,PayPay Senior Manager at Product Tech Division。

TiDB 金融级备份及多中心容灾

2020-06-17
阅读 6 分钟
1.5k
对于金融企业来说,尤其是银行、证券、保险这些行业,在一个 IT 系统运行支撑业务的过程当中,考虑到硬件的故障、网络的故障,等一切可能会对业务产生影响的突发故障。那么,在过去漫长的 IT 发展的过程当中,大量的技术被应用在关于如何解决组件级的高可用,整个服务的容灾和灾备,包括如何保证整体业务的连续性。

从马车到电动车,TiDB 部署工具变形记

2020-06-16
阅读 6 分钟
2.5k
打造优秀产品的信念渗透在每一个 TiDB 开发者的血液中,衡量产品的优秀有多个维度:易用性、稳定性、性能、安全性、开放性、拓展性等等。**在部署易用性方面,TiDB 开发者们经过诸多探索和尝试,经过了命令行时代、Ansible 时代,终于在 TiDB 4.0 发布了新一代具有里程碑意义的解决方案——TiUP。

刘奇:当今一切都要更实时、更弹性、更简单,TiDB 就是这样的基础设施 | TiDB DevCon 2020

2020-06-11
阅读 8 分钟
2.2k
6 月 7 日,TiDB 社区年度技术大会 TiDB DevCon 2020 圆满落幕,本届大会采取线上直播的形式,汇聚了来自全球各地的 80+ 开发者、TiDB 用户及合作伙伴分享第一手开发及实践经验,议题覆盖金融、电信、电商、物流、视频、资讯、教育、医疗等诸多行业,干货满满,目不暇接。会上我们正式发布了具有里程碑意义的 TiDB 4.0 G...