TiDB 最佳实践系列(六)HAProxy 的使用

2019-11-20
阅读 6 分钟
1.7k
HAProxy 是一个使用 C 语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于 TCP 和 HTTP 的应用程序代理。GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 在内的知名网站,及亚马逊网络服务系统都在使用 HAProxy。

TiKV 源码解析系列文章(十五)表达式计算框架

2019-11-19
阅读 8 分钟
1.4k
上一篇 《TiKV 源码解析系列文章(十四)Coprocessor 概览》讲到了 TiDB 为了最大化利用分布式计算能力,会尽量将 Selection 算子、聚合算子等算子下推到 TiKV 节点上。本文将继续介绍 Coprocessor 中表达式计算框架的源码架构,带大家看看 SQL 中的表达式是如何在 Coprocessor 中执行的。

Unified Thread Pool | Hackathon 2019 优秀项目介绍

2019-11-15
阅读 4 分钟
1.9k
本文由逊馁队的成员夏锐航同学主笔,介绍 Unified Thread Pool 项目的设计与实现过程。该项目实现了在 TiKV 中使用一个统一的自适应线程池处理读请求,能够显著提升性能,并可预测性地限制大查询对小请求的干扰,最终在 TiDB Hackathon 2019 中斩获一等奖。

让数据库运行在浏览器里?TiDB-Wasm 原理与实现 | Hackathon 优秀项目介绍

2019-11-13
阅读 11 分钟
6.9k
上周我们推送了《让数据库运行在浏览器里?TiDB + WebAssembly 告诉你答案》,向大家展示了 TiDB-Wasm 的魅力:TiDB-Wasm 项目是 TiDB Hackathon 2019 中诞生的二等奖项目,实现了将 TiDB 编译成 Wasm 运行在浏览器里,让用户无需安装就可以使用 TiDB。本文由 Ti-Cool 队成员主笔,为大家详细介绍 TiDB-Wasm 设计与实现...

如何玩转 TiDB 性能挑战赛?本文教你 30 分钟快速上手拿积分!

2019-11-12
阅读 8 分钟
1.7k
上周我们正式宣布了 TiDB 性能挑战赛。在赛季内,通过向 TiDB、TiKV、PD 贡献代码完成指定类别任务的方式,你可以获得相应的积分,最终你可以使用积分兑换礼品或奖金。在性能挑战赛中,你首先需要完成几道 Easy 的题目,积累一定量积分后,才能开始挑战 Medium / Hard 难度的题目。

TiDB 最佳实践系列(五)Java 数据库应用开发指南

2019-11-07
阅读 9 分钟
3.7k
Java 是当前非常流行的开发语言,很多 TiDB 用户的业务层都是使用 Java 开发的,本文将从 Java 数据库交互组件开发的角度出发,介绍各组件的推荐配置和推荐使用方式,希望能帮助 Java 开发者在使用 TiDB 时能更好的发挥数据库性能。

让数据库运行在浏览器里?TiDB + WebAssembly 告诉你答案

2019-11-05
阅读 4 分钟
3.3k
希望有一个数据库能够弹性扩展(分布式)到成百上千节点的规模,易于学习和理解,可以运行在私有云、公有云、Multi-Cloud、Kubernetes,也能够跑在嵌入式设备(比如树莓派)上,更酷的是也能够直接运行在浏览器里,而且不需要任何浏览器扩展(Extension),变成「口袋数据库」,就像那部电影《蚁人》。

无挑战,不 Geek!TiDB 性能挑战赛等你来战

2019-11-05
阅读 4 分钟
1.4k
如果说,人类进化动力源于挑战: 想突破速度,于是从太空飞行追逐到量子世界; 想追求稳定,于是在万变之中,求不变之道; 想打破繁复,于是用 1 台智能手机集成 N 种必需品,大道至简…… 那么,挑战充满不确定性的未来,就是 TiDB 这款开源产品的不断进化的内在基因——如何做到更好的性能、更强的稳定性、更惊人的易用性...

TiKV 源码解析系列文章(十四)Coprocessor 概览

2019-11-01
阅读 4 分钟
2.6k
本文将简要介绍 TiKV Coprocessor 的基本原理,面向想要了解 TiKV 数据读取执行过程的同学,同时也面向想对该模块贡献代码的同学。阅读本文前,建议读者对 TiDB 整体架构有所了解,先阅读三篇文章了解 TiDB 技术内幕:说存储、说计算、谈调度。

据说今年黑客马拉松项目又多又猛?| TiDB Hackathon 回顾

2019-10-31
阅读 3 分钟
2k
TiDB Hackathon 2019 在 10 月 27 日完美收官!北京、上海、广州三地共 39 支队伍参赛,两天一夜的 Hacking Time,大家围绕着「Improve」主题,为 TiDB 性能、易用性、稳定性、功能等各方面做出提升,最终 6 支队伍瓜分了一、二、三等奖的 15 万元现金奖励,另有 4 支队伍分获最佳贡献奖、最佳创意奖、最具潜力奖和 CTO ...

高效编排有状态应用——TiDB 的云原生实践与思考

2019-10-29
阅读 9 分钟
2.4k
作者:吴叶磊,PingCAP Cloud 工程师,毕业于浙江大学,热爱云原生与开源技术,开发并维护 kubectl-debug, aliyun-exporter 等开源项目,同时也是专注于云原生技术的博客作者,现负责 TiDB Operator 研发。曾负责酷家乐数据同步平台与容器监控系统的研发。

TiKV 项目首个 SIG 成立,一起走上 Contributor 进阶之路吧! | 1024 程序员节快乐!

2019-10-24
阅读 4 分钟
1.8k
社区是一个开源项目的灵魂,随着 TiDB/TiKV 新的社区架构升级, TiKV 社区也计划逐步成立更多个 Special Interest Group(SIG )吸引更多社区力量,一起来改进和完善 TiKV 项目。SIG  将围绕着特定的模块进行开发和维护工作,并对该模块代码的质量负责。

TiDB 最佳实践系列(四)海量 Region 集群调优

2019-10-24
阅读 5 分钟
1.4k
在 TiDB 的架构中,所有的数据按照 range 划分成一个个 Region 分布在多个 TiKV 实例上。随着数据的写入,一个集群中会产生上百万,甚至千万个 Region。而量变引起质变,单 TiKV 实例上过多的 Region 无疑会带来比较大的负担,进而影响整个集群的性能表现。

新架构、新角色:TiDB Community Upgrade!

2019-10-23
阅读 4 分钟
2.3k
经过几年的发展,TiDB 社区已经逐渐成熟,但是随着社区的发展壮大,我们逐渐感受到了现在社区架构上的一些不足。经过一系列的思考和总结,我们决定升级和调整目前社区组织架构,引入更多的社区角色和社区组织,以便更好的激发社区活力,维护积极健康的社区环境。

网易互娱的数据库选型和 TiDB 应用实践

2019-10-22
阅读 10 分钟
2k
计费组是为网易互娱产品提供统一登录和支付高效解决方案的公共支持部门,对内是互娱的各个游戏工作室,对外是国内外数百个渠道。由于业务场景的特殊性,我们为各个游戏产品部署了不同的应用服务,其中大产品环境独立,小产品集中部署。

TiDB 最佳实践系列(三)乐观锁事务

2019-10-20
阅读 6 分钟
2.6k
TiDB 最佳实践系列是面向广大 TiDB 用户的系列教程,旨在深入浅出介绍 TiDB 的架构与原理,帮助用户在生产环境中最大限度发挥 TiDB 的优势。我们将分享一系列典型场景下的最佳实践路径,便于大家快速上手,迅速定位并解决问题。

Hands-on! 如何给 TiDB 添加新系统表

2019-10-18
阅读 4 分钟
1.7k
对于一个成熟的数据库来说,通过 SQL 来查询系统本身的状态再正常不过,对于 MySQL 来说 INFOMATION_SCHEMA 和 PERFORMANCE_SCHEMA 里面有大量的信息,基本上通过查询些信息,DBA 就能对整个系统的运行状态一目了然。最棒的是,查询的接口正是 SQL,不需要依赖其他的第三方工具,运用表达力强大的 SQL 甚至可以对这些信...

TiDB Hackathon 参考选题扩充,组队参赛走起!

2019-10-16
阅读 3 分钟
2.5k
TiDB Hackathon 2019 已经开放报名 1 个多月啦,之前抓耳挠腮想不到选题、组不到队友的伙伴们都渐渐成队,并开始做赛前准备了。为了刺激围观同学的“灵感小火花”,我们今天又扩充了一波选题,如果大家还不知道做什么项目的话,择日不如撞日,今天就锚定一个果断报名参赛吧!另外,参赛选手在赛前准备阶段对选题有任何疑问...

PD 调度策略最佳实践

2019-10-12
阅读 10 分钟
1.6k
众所周知,PD 是整个 TiDB 集群的核心,负责全局元信息的存储以及 TiKV 集群负载均衡调度,本文将详细介绍 PD 调度系统的原理,并通过几个典型场景的分析和处理方式,分享调度策略的最佳实践和调优方法,帮助大家在使用过程中快速定位问题。本文内容基于 3.0 版本,更早的版本(2.x)缺少部分功能的支持,但是基本原理类...

AutoTiKV:基于机器学习的数据库调优

2019-10-10
阅读 9 分钟
4.9k
TiKV 底层使用了 RocksDB 作为存储引擎,然而 RocksDB 配置选项很多,很多情况下只能通过反复测试或者依靠经验来调优,甚至连 RocksDB 的开发者都自嘲,他们没办法弄清楚每个参数调整对性能的影响。如果有一个自动 tuning 的方案就可以大大减少调优的人力成本,同时也可能在调优的过程中,发现一些人工想不到的信息。我...

TiDB Binlog 源码阅读系列文章(五)Pump Storage 介绍(上)

2019-10-09
阅读 5 分钟
1.8k
在 上篇文章 中,我们主要介绍了 Pump Server 的上线过程、gRPC API 实现、以及下线过程和相关辅助机制,其中反复提到了 Pump Storage 这个实体。本文就将介绍 Pump Storage 的实现,其主要代码在 pump/storage 文件夹中。

十分钟成为 Contributor 系列 | TiDB 向量化表达式活动第二弹

2019-10-08
阅读 3 分钟
1.6k
在 上篇文章 中,我们介绍了 TiDB 如何实现表达式的向量化优化,以及社区同学如何参与这项工程。两周过去了,我们收到了很多来自社区小伙伴们的建议和反馈,今天在这里和大家分享一下活动进展和这些建议及反馈。

TiKV Rust Client 迁移记 - Futures 0.1 至 0.3

2019-09-27
阅读 4 分钟
1.6k
作者介绍:Nick Cameron,PingCAP 研发工程师,Rust core team 成员,专注于分布式系统、数据库领域和 Rust 语言的进展。

十一假期别“宅”啦,一起备战黑客马拉松吧!

2019-09-26
阅读 4 分钟
2.3k
TiDB Hackathon 2019 将在 10 月 26 - 27 日举办,比赛主题为「Improve」,参赛选手可以为 TiDB 性能、易用性、稳定性、功能等各方面做出提升,当然也可以围绕 TiDB 生态做一些周边工具提升效率。不仅有大咖导师现场带教,奖金也非常丰厚哦~

TiKV 在京东云对象存储元数据管理的实践

2019-09-24
阅读 5 分钟
3.7k
京东云对象存储是在 2016 年作为公有云对外公开的,主要特点是可靠、安全、海量、低成本,应用于包括一些常用的业务场景,比如京东内部的京东商城视频/图片云存储,面向京东云公有云外部的开发者的服务,和面向政府、企业的私有云服务,甚至混合云服务。

十分钟成为 Contributor 系列 | 助力 TiDB 表达式计算性能提升 10 倍

2019-09-17
阅读 5 分钟
2.8k
最近我们扩展了 TiDB 表达式计算框架,增加了向量化计算接口,初期的性能测试显示,多数表达式计算性能可大幅提升,部分甚至可提升 1~2 个数量级。为了让所有的表达式都能受益,我们需要为所有内建函数实现向量化计算。

从使用者到开发者,知乎参与 TiDB 社区背后的故事

2019-09-16
阅读 2 分钟
2.1k
作者介绍:孙晓光,知乎技术平台团队负责人,负责建设知乎在线和离线的基础设施平台,为业务开发提供统一的基础设施。曾多年从事私有云相关产品开发工作,关注云原生技术,TiKV 项目 Committer。

如何高效利用 Grafana 监控分析 TiDB 指标

2019-09-10
阅读 6 分钟
3.1k
使用 TiDB Ansible 部署 TiDB 集群,会同时部署一套 Grafana + Prometheus 的监控平台,这套监控用来收集和展示 TiDB 集群各个组件和机器的 metric 信息,这些 metric 信息非常丰富,可以帮助使用者分析 TiDB 集群的状态以及 Trouble shooting。随着使用经验的增多,我们积累了一些监控使用上的技巧,在这里分享给大家。

一体化数据同步平台 DM 1.0 GA 发布

2019-09-09
阅读 1 分钟
2k
DM(TiDB Data Migration)是由 PingCAP 开发的一体化数据同步平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。无论是从 MySQL 向 TiDB 进行平滑数据迁移还是用 TiDB 作为多个 MySQL 实例的数据汇总库,都可以通过 DM 来实现。DM 在 TiDB DevCon 2019 上正式开源,经过半年多时间在大量用户、开发...

TiDB 高并发写入常见热点问题及规避方法

2019-09-06
阅读 6 分钟
3.3k
本文通过阐述一个高并发批量写入数据到 TiDB 的典型场景中,TiDB 中常见的问题,给出一个业务的最佳实践,避免业务在开发的时候陷入 TiDB 使用的 “反模式”。