TiDB v5.1 体验: 我用 TiDB 训练了一个机器学习模型

2021-10-21
阅读 17 分钟
2.8k
韩明聪 ,TiDB Contributor,上海交通大学 IPADS 实验室博士研究生,研究方向为系统软件。本文主要介绍了如何在 TiDB 中使用纯 SQL 训练一个机器学习模型。
封面图

TiDB 在微众银行核心批量场景的实践

2021-10-11
阅读 5 分钟
3.2k
本文根据 PingCAP DevCon 2021 上来自微众银行资深数据库架构师黄蔚的分享整理而成,主要阐述 TiDB 在微众银行的应用实践,包括微众银行选择 TiDB 的背景和 TiDB 的部署架构,以及 TiDB 在贷款核心批量场景的应用,最后分享了基于 TiDB 优化方案的最佳实践和未来规划。

涂鸦智能选型 TiKV 的心路历程

2021-09-28
阅读 4 分钟
4.1k
本文来自涂鸦智能的刘筠松在 PingCAP DevCon 2021 上的分享,包括 TiDB 在 IoT 领域,特别是在智能家居行业的使用。

快成物流 X TiDB:以数字化引擎领跑物流科技新业态

2021-09-27
阅读 2 分钟
2.4k
随着物流行业的不断发展,物流企业中涉及生产、运输、仓储及运送流环节中的各类数据增长迅速,呈现数据量大、数据类型多、价值变现难的特点。作为中国大宗物流的领导企业,山西快成物流科技有限公司(简称“快成物流”)利用 TiDB 一栈式数据服务平台实现全流程精细化运营,加速海量数据的价值变现,进一步驱动产业创新。

端到端的实时计算:TiDB + Flink 最佳实践

2021-09-26
阅读 10 分钟
3.6k
孙晓光,PingCAP Community Development 团队负责人,原知乎基础研发团队架构师,长期从事分布式系统相关研发工作,关注云原生技术。

TiDB 在茄子科技的应用实践及演进

2021-09-17
阅读 4 分钟
2.3k
茄子科技(海外 SHAREit Group)是一家全球化互联网科技公司,主要从事移动互联网软件研发与全球移动广告变现解决方案、跨境支付解决方案等互联网服务等业务。茄子快传(SHAREit)是茄子科技旗下的代表产品, 是一款一站式数字娱乐内容与跨平台资源分享平台,累计安装用户数近 24 亿。茄子科技作为一家出海企业,已经在...

TiDB 慢日志在伴鱼的实践

2021-09-15
阅读 5 分钟
2.6k
本文来自于伴鱼英语 DBA 组负责人刘江在「能量钛」第二期活动的分享,刘江为大家分享了 TiDB 慢日志在伴鱼的实践。本文将从以下三个方面展开:

知乎 Hive Metastore 实践:从 MySQL 到 TiDB

2020-07-10
阅读 3 分钟
4k
Apache Hive 是基于 Apache Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并且提供了 Hive SQL 进行查询和分析,在离线数仓中被广泛使用。Hive Metastore 是 Hive 的元信息管理工具,它提供了操作元数据的一系列接口,其后端存储一般选用关系型数据库如 Derby、 MySQL 等。现在很多除了 Hive ...

从马车到电动车,TiDB 部署工具变形记

2020-06-16
阅读 6 分钟
2.7k
打造优秀产品的信念渗透在每一个 TiDB 开发者的血液中,衡量产品的优秀有多个维度:易用性、稳定性、性能、安全性、开放性、拓展性等等。**在部署易用性方面,TiDB 开发者们经过诸多探索和尝试,经过了命令行时代、Ansible 时代,终于在 TiDB 4.0 发布了新一代具有里程碑意义的解决方案——TiUP。

Hands-on! 如何给 TiDB 添加新系统表

2019-10-18
阅读 4 分钟
1.7k
对于一个成熟的数据库来说,通过 SQL 来查询系统本身的状态再正常不过,对于 MySQL 来说 INFOMATION_SCHEMA 和 PERFORMANCE_SCHEMA 里面有大量的信息,基本上通过查询些信息,DBA 就能对整个系统的运行状态一目了然。最棒的是,查询的接口正是 SQL,不需要依赖其他的第三方工具,运用表达力强大的 SQL 甚至可以对这些信...

一体化数据同步平台 DM 1.0 GA 发布

2019-09-09
阅读 1 分钟
2k
DM(TiDB Data Migration)是由 PingCAP 开发的一体化数据同步平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。无论是从 MySQL 向 TiDB 进行平滑数据迁移还是用 TiDB 作为多个 MySQL 实例的数据汇总库,都可以通过 DM 来实现。DM 在 TiDB DevCon 2019 上正式开源,经过半年多时间在大量用户、开发...

TiDB 在 58 集团的应用与实践

2019-08-29
阅读 5 分钟
2.2k
58 集团业务种类繁多,目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等,数据库种类包括 MySQL、Redis、MongoDB、ES、TiDB。我们自己构建了“58 云 DB 平台”,整合了所有数据库的一体化运维。

三十分钟成为 Contributor | 提升 TiDB Parser 对 MySQL 8.0 语法的兼容性

2019-08-09
阅读 10 分钟
2.1k
TiDB 的一大特性就是和 MySQL 高度兼容,目标是让用户能够无需修改代码即可从 MySQL 迁移至 TiDB。要达成这个目标,需要完成两个提升兼容性的任务,分别是「语法兼容」和「功能行为兼容」。

TiDB 在平安核心系统的引入及应用

2019-05-29
阅读 6 分钟
3.6k
2019 年 5 月 9 日,平安科技数据库产品资深工程师何志勇在第十届数据库技术大会 DTCC 上分享了《TiDB 在平安核心系统的引入及应用》,通过对 TiDB 进行 POC 测试,详细解析如何选择适用于金融行业级别的开源分布式数据库,以及平安“财神节”活动中引入 TiDB 的全流程应用实践案例分享。本文根据演讲内容整理。

DM 源码阅读系列文章(一)序

2019-03-20
阅读 3 分钟
2.2k
TiDB-DM 是由 PingCAP 开发的一体化数据同步任务管理平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步,在 TiDB DevCon 2019 正式开源。作为一款连接 MySQL/MariaDB 生态和 TiDB 生态的中台类型产品,DM 获得了广泛的关注,很多公司、开发者和社区的伙伴已经在使用 DM 来进行数据迁移和管理。随着大...

TiDB Ecosystem Tools 原理解读(一):TiDB-Binlog 架构演进与实现原理

2018-12-10
阅读 10 分钟
4.9k
TiDB-Binlog 组件用于收集 TiDB 的 binlog,并提供实时备份和同步功能。该组件在功能上类似于 MySQL 的主从复制,MySQL 的主从复制依赖于记录的 binlog 文件,TiDB-Binlog 组件也是如此,主要的不同点是 TiDB 是分布式的,因此需要收集各个 TiDB 实例产生的 binlog,并按照事务提交的时间排序后才能同步到下游。如果你需...

美团点评携手 PingCAP 开启新一代数据库深度实践之旅

2018-11-15
阅读 9 分钟
4.9k
在美团,基于 MySQL 构建的传统关系型数据库服务已经难于支撑公司业务的爆发式增长,促使我们去探索更合理的数据存储方案和实践新的运维方式。随着近一两年来分布式数据库大放异彩,美团 DBA 团队联合架构存储团队,于 2018 年初启动了分布式数据库项目。

吴镝:TiDB 在今日头条的实践

2018-03-16
阅读 5 分钟
5.6k
如今(数据截至发文),TiDB 支撑着今日头条 OLTP 系统里 QPS 比较高的场景:集群容量约几十 T,日常 QPS 峰值会达到几十万。

TiDB 在零氪科技(LinkDoc)大数据医疗系统的实践

2018-03-07
阅读 2 分钟
4.4k
零氪科技作为全球领先的人工智能与医疗大数据平台,拥有国内最大规模、体量的医疗大数据资源库和最具优势的技术支撑服务体系。多年来,零氪科技凭借在医疗大数据整合、处理和分析上的核心技术优势,依托先进的人工智能技术,致力于为社会及行业、政府部门、各级医疗机构、国内外医疗器械厂商、药企等提供高质量医疗大数...

TiDB 在 360 金融贷款实时风控场景应用

2017-11-28
阅读 3 分钟
6k
近几年来基于互联网渠道的现金贷业务发展十分迅猛,无论是新兴的互联网企业还是传统的金融机构,都想在这个领域快速占领市场,攫取客户。然而在线贷款业务与其他互联网业务有着明显的不同,源自金融的基因决定了重视风险的必要性,这不仅关系到产品的收益,也直接影响了产品是否可以成功。

谈谈开源(一)

2017-09-25
阅读 5 分钟
4.8k
很多人的『开源』是一个比较时髦且有情怀的词汇,不少公司也把开源当做 KPI 或者是技术宣传的手段。但是在我们看来,大多数人开源做的并不好,大多数开源项目也没有被很好的维护。比如前一段时间微博上流传关于 Tengine 的讨论,一个优秀的开源项目不止是公布源代码就 OK 了,还需要后续大量的精力去维护,包括制定 Road...

TiDB 助力一面数据实现消费领域的决策分析平台

2017-09-18
阅读 3 分钟
2.4k
深圳市一面网络技术有限公司(下称:一面数据)是一家为消费领域的领导企业提供实时、精准、全面的数据洞察和决策指导的创新型企业,利用人工智能和算法,进行自然语言处理,语义情感分析,回归预测模型等,帮助客户实现精准产品运营和预测市场变化。一面数据服务于国内外一流企业,包括世界最大的对冲基金、国际一线汽...

测试分布式系统的线性一致性

2017-09-06
阅读 5 分钟
2.4k
最近看到一篇文章 [链接],写得非常好,在征得作者 Anish 同意的情况下,决定将其翻译成中文。但为了更好理解,一些地方并不会逐字翻译,也会稍作调整。

演讲实录|马晓宇:When TiDB Meets Spark

2017-09-04
阅读 8 分钟
2.6k
本文整理自 TiSpark 项目发起人马晓宇在 Strata Data Conference 上分享的《When TiDB Meets Spark》演讲实录。

TiDB Pre-GA Release

2017-09-01
阅读 1 分钟
2.3k
8 月 30 日,TiDB 发布 Pre-GA 版。该版本对 MySQL 兼容性、SQL 优化器、系统稳定性、性能做了大量的工作。 TiDB: SQL 查询优化器 调整代价模型 优化索引选择,支持不同类型字段比较的索引选择 支持基于贪心算法的 Join Reorder 大量 MySQL 兼容性相关功能 支持 Natural Join 完成 JSON 类型支持 (Experimental),包括对...

TiDB RC4 Release

2017-08-07
阅读 1 分钟
2.1k
8 月 4 日,TiDB 正式发布 RC4 版。该版本对 MySQL 兼容性、SQL 优化器、系统稳定性、性能做了大量的工作。性能方面重点优化了写入速度,计算任务调度支持优先级,避免分析型大事务影响在线事务。SQL 优化器全新改版,查询代价估算更加准确,且能够自动选择 Join 物理算子。功能方面进一步 MySQL 兼容性。 同时为了更好...

TiDB 在猿辅导数据快速增长及复杂查询场景下的应用实践

2017-08-02
阅读 2 分钟
3k
猿辅导是国内拥有最多中小学生用户的在线教育机构,旗下有猿题库、小猿搜题、猿辅导三款在线教育 APP,为用户提供在线题库、拍照搜题、名师在线辅导相关的服务。其中,猿辅导APP已经有超过116万付费用户,提供小学英语、奥数,和初中高中全学科的直播辅导课程,全国任何地区的中小学生,都可以享受在家上北京名师辅导课...

TiSpark (Beta) 用户指南

2017-07-27
阅读 4 分钟
4k
TiSpark 是 PingCAP 推出的为了解决用户复杂 OLAP 需求的产品。借助 Spark 平台本身的优势,同时融合 TiKV 分布式集群的优势,和 TiDB 一起为用户一站式解决 HTAP (Hybrid Transactional/Analytical Processing)需求。 TiSpark 依赖 TiKV 集群和 PD 的存在。当然,TiSpark 也需要你搭建一个 Spark 集群。本文简单介绍...

深入了解 gRPC:协议

2017-07-18
阅读 6 分钟
5.7k
gRPC 是基于 HTTP/2 协议的,要深刻理解 gRPC,理解下 HTTP/2 是必要的,这里先简单介绍一下 HTTP/2 相关的知识,然后在介绍下 gRPC 是如何基于 HTTP/2 构建的。

TiDB Best Practice

2017-07-05
阅读 6 分钟
3.3k
本文档用于总结在使用 TiDB 时候的一些最佳实践,主要涉及 SQL 使用、OLAP/OLTP 优化技巧,特别是一些 TiDB 专有的优化开关。建议先阅读讲解 TiDB 原理的三篇文章(讲存储,说计算,谈调度),再来看这篇文章。