MySQL自治平台建设的内核原理及实践(上)

2023-07-07
阅读 14 分钟
615
本文整理自主题分享《美团数据库自治服务平台建设》,系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈,补充了很多技术细节,跟演讲(视频)相比,内容更加丰富。文章分成上、下两篇,上篇将介绍数据库的异常发现跟诊断方面的内容,下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引...
封面图

MySQL自治平台建设的内核原理及实践(下)

2023-07-07
阅读 15 分钟
587
在《MySQL自治平台建设的内核原理及实践(上)》一文中,我们主要介绍了数据库的异常发现与诊断方面的内容,在诊断方面经常会碰到一些难以找出根因的Case。针对这些疑难杂症Case,通过本篇可以了解到,如何通过内核可观测性以及全量SQL来解决这些问题。除此之外,在得出根因后,如何处理异常,如何对SQL进行优化,以及如...
封面图

超大规模数据库集群保稳系列之二:数据库攻防演练建设实践

2023-05-26
阅读 9 分钟
759
本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》,系超大规模数据库集群保稳系列的第2篇文章。本文首先介绍了美团当前数据库运维现状、遇到的问题,以及为什么要建设数据库攻防演练平台;其次,分享当前数据库攻防演练平台的具体实践;第三部分会介绍数据库攻防演练在美团内部的落地情况;最后,...
封面图

超大规模数据库集群保稳系列之一:高可用系统

2023-05-12
阅读 9 分钟
859
基于过去多年在大规模数据集群保稳方面的实践经验,我们希望能够跟业界进行一些技术交流,美团技术团队举办了第75期技术沙龙。本文整理自主题分享《美团数据库的高可用系统》,系超大规模数据库集群保稳系列的第一篇文章。对数据库而言,非常核心的就是如何保证其高可用性。本文围绕4个方面的内容展开,包括高可用简介、...
封面图

基于AI算法的数据库异常监测系统的设计与实现

2022-09-06
阅读 8 分钟
1.5k
美团数据库平台研发组,面临日益急迫的数据库异常发现需求,为了更加快速、智能地发现、定位和止损,我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考,希望为从事相关工作的同学带来一些启发或者帮助。
封面图

数据库异常智能分析与诊断

2022-05-10
阅读 8 分钟
2.4k
DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演...
封面图

基于代价的慢查询优化建议

2022-04-26
阅读 13 分钟
1.2k
对于数据库来说,慢查询往往意味着风险。SQL执行得越慢,消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障,关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询,并给出索引建议,评估跟踪建议质量,运营治理慢查询。
封面图

美团图数据库平台建设及业务实践

2021-04-05
阅读 10 分钟
2.7k
图数据结构,能够更好地表征现实世界。美团业务相对较复杂,存在比较多的图数据存储及多跳查询需求,亟需一种组件来对千亿量级图数据进行管理,海量图数据的高效存储和查询是图数据库研究的核心课题。本文介绍了美团在图数据库选型及平台建设方面的一些工作。
封面图

美团内部讲座|周烜:华东师范大学的数据库系统研究

2020-11-06
阅读 16 分钟
1.8k
【Top Talk/大咖说】由美团技术学院和科研合作部主办,面向全体技术同学,定期邀请美团资深技术专家、业界大咖、高校学者及畅销书作者,为大家分享最佳实践、互联网热门话题、学术界前沿技术进展等内容,帮助美团同学开拓视野、提升认知。2020年10月27日,Top Talk邀请到了华东师范大学周烜老师,请他带来题为《华东师范...

美团命名服务的挑战与演进

2020-05-15
阅读 11 分钟
3.2k
命名服务主要解决微服务拆分后带来的服务发现、路由隔离等需求,是服务治理的基石。美团命名服务(以下简称MNS)作为服务治理体系OCTO的核心模块,目前承载美团上万项服务,日均调用达到万亿级别。为了更好地支撑美团各项飞速发展的业务,MNS开始从1.0向2.0演进。本文将围绕本次演进的初衷、实现方案以及落地的效果等方...

助力中文文字识别突破,美团公开首个真实场景招牌图像数据集

2019-03-01
阅读 3 分钟
4k
美团作为全球最大的本地生活服务平台,拥有由遍布全国的市场人员所拍摄的众多门脸招牌图片数据。每张图片都是由全国的不同个人,采用不同设备,在不同地点,不同时间和不同环境下所拍摄的不同目标,是难得的可以公正评价算法鲁棒性和识别效果的图片数据,挑战也非常大。

将军令:数据安全平台建设实践

2019-02-15
阅读 7 分钟
2.9k
近期,业内数据安全事件频发,给相关企业造成了无可挽回的损失,更为数据安全防护意识薄弱的企业敲响了警钟。如何对公司内部数据最为集中的数据分析、数据服务、数据治理等各种数据类产品进行权限管控,已经成为数据安全建设中最为重要的任务。

数据库智能运维探索与实践

2018-12-14
阅读 6 分钟
4.1k
从自动化到智能化运维过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在“第九届中国数据库技术大会”上的演讲内容整理而成,部分内容有更新。

新一代数据库TiDB在美团的实践

2018-11-23
阅读 9 分钟
6.3k
近几年,基于MySQL构建的传统关系型数据库服务,已经很难支撑美团业务的爆发式增长,这就促使我们去探索更合理的数据存储方案和实践新的运维方式。而随着分布式数据库大放异彩,美团DBA团队联合基础架构存储团队,于 2018 年初启动了分布式数据库项目。