美团大规模KV存储挑战与架构实践

3 月 15 日
阅读 14 分钟
161
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上,我们分享了《美团大规模 KV 存储挑战与架构实践》,本文为演讲内容的整理。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV...
封面图

Code:美团代码托管平台的演进与实践

2023-02-03
阅读 9 分钟
1.2k
美团代码托管平台经过长期的打磨,完成了分布式架构的改造落地,托管数以万计的仓库,日均Git相关请求达到千万级别。本文主要介绍了美团代码托管平台在迭代演进过程中面临的挑战及解决思路,希望对大家有所帮助或启发。
封面图

美团外卖搜索基于Elasticsearch的优化实践

2022-11-18
阅读 13 分钟
2k
美团外卖搜索工程团队在Elasticsearch的优化实践中,基于Location-Based Service(LBS)业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-Length Encoding(RLE)设计了一款高效的倒排索引结构,使检索耗时(TP99)降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述,并给出最终灰度验证的结论。
封面图

Replication(上):常见复制模型&分布式系统挑战

2022-09-01
阅读 14 分钟
963
分布式系统设计是一项十分复杂且具有挑战性的事情。其中,数据复制与一致性更是其中十分重要的一环。数据复制领域概念庞杂、理论性强,如果对应的算法没有理论验证大概率会出错。如果在设计过程中,不了解对应理论所解决的问题以及不同理论之间的联系,势必无法设计出一个合理的分布式系统。
封面图

Replication(下):事务,一致性与共识

2022-09-01
阅读 19 分钟
2k
本文主要介绍事务、一致性以及共识,首先会介绍它们怎么在分布式系统中起作用,然后将尝试描述它们之间的内在联系,让大家了解,在设计分布式系统时也是有一定的“套路”可寻。最后将介绍业界验证分布式算法的一些工具和框架。希望能够对大家有所帮助或者启发。
封面图

提升资源利用率与保障服务质量,鱼与熊掌如何兼得?

2022-08-12
阅读 11 分钟
946
美团Hulk调度系统团队在集群服务质量与资源利用率运营的长期落地实践中,基于业务实际场景,自主设计研发了集群负载自动调控系统(LAR)以及配套的运营体系,在提升集群整体资源利用率的同时保障了业务服务质量。本文介绍了LAR的设计理念、基本框架以及核心设计,并结合在线和混部场景应用展开思考,并展示了部分落地成...
封面图

工程效能CI/CD之流水线引擎的建设实践

2022-07-18
阅读 10 分钟
4.5k
经过近3年的建设打磨,美团流水线引擎完成了服务端的基建统一,每日支撑近十万次的流水线执行量,系统成功率保持在99.99%以上。本文主要介绍在自研引擎建设层面遇到的挑战以及解决方案。
封面图

标准化思想及组装式架构在后端BFF中的实践

2022-04-29
阅读 12 分钟
5.1k
在本地生活服务领域,面向C端的信息展示类功能存在着类生物系统的复杂性,具体体现在以下三个方面:功能多,为了帮助用户高效找店、找服务,信息会在尽可能多的地方展示;差异大,同样的信息,在不同客户端、不同页面及模块下的展示逻辑会存在一些差异;功能易变,产品逻辑经常调整。以上三个方面的特点给研发同学带来了...
封面图

美团外卖实时数仓建设实践

2021-08-30
阅读 6 分钟
3.8k
实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合,同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易开发、易维护且效率高的流水线,兼顾开发效率与生产成本,以较好的投入产出比满足...
封面图

美团终端消息投递服务Pike的演进之路

2021-07-27
阅读 11 分钟
2.2k
Pike 2.0致力于为美团提供一套易接入、高可靠、高性能的双向消息投递服务。本文首先从系统架构升级、工作模式升级、长稳保活机制升级等方面介绍了Pike2.0的技术演进,然后介绍了Pike 2.0在直播、游戏等新业务场景下的特性支持。希望本文能给对消息投递服务感兴趣或者从事相关工作的读者一些帮助和启发。
封面图

算法平台在线服务体系的演进与实践

2021-05-14
阅读 12 分钟
5.4k
图灵平台是美团配送技术团队搭建的一站式算法平台,图灵平台中的在线服务框架——图灵OS主要聚焦于机器学习和深度学习在线服务模块,为模型和算法策略的线上部署和计算提供统一的平台化解决方案,能够有效提升算法迭代效率。本文将与大家探讨图灵OS在建设和实践中的思考和优化思路,希望能对大家有所帮助或者启发。
封面图

GraphQL及元数据驱动架构在后端BFF中的实践

2021-05-07
阅读 16 分钟
3.6k
GraphQL是Facebook提出的一种数据查询语言,核心特性是数据聚合和按需索取,目前被广泛应用于前后端之间,解决客户端灵活使用数据问题。本文介绍的是GraphQL的另一种实践,我们将GraphQL下沉至后端BFF层之下,结合元数据技术,实现数据和加工逻辑的按需查询和执行。这样不仅解决了后端BFF层灵活使用数据的问题,这些字段...
封面图

复杂环境下落地Service Mesh的挑战与实践

2020-12-04
阅读 8 分钟
2.1k
在私有云集群环境下建设 Service Mesh ,往往需要对现有技术架构做较大范围的改造,同时会面临诸如兼容困难、规模化支撑技术挑战大、推广困境多等一系列复杂性问题。本文会系统性地讲解在美团在落地 Service Mesh 过程中,我们面临的一些挑战及实践经验,希望能对大家有所启发或者帮助。

基本功 | Java即时编译器原理解析及实践

2020-10-23
阅读 18 分钟
2.9k
常见的编译型语言如C++,通常会把代码直接编译成CPU所能理解的机器码来运行。而Java为了实现“一次编译,处处运行”的特性,把编译的过程分成两部分,首先它会先由javac编译成通用的中间形式——字节码,然后再由解释器逐条将字节码解释为机器码来执行。所以在性能上,Java通常不如C++这类编译型语言。

美团命名服务的挑战与演进

2020-05-15
阅读 11 分钟
3.2k
命名服务主要解决微服务拆分后带来的服务发现、路由隔离等需求,是服务治理的基石。美团命名服务(以下简称MNS)作为服务治理体系OCTO的核心模块,目前承载美团上万项服务,日均调用达到万亿级别。为了更好地支撑美团各项飞速发展的业务,MNS开始从1.0向2.0演进。本文将围绕本次演进的初衷、实现方案以及落地的效果等方...

美团OCTO万亿级数据中心计算引擎技术解析

2020-04-24
阅读 5 分钟
2.4k
美团点评自研的 OCTO 数据中心(简称 Watt)日均处理万亿级数据量,该系统具备较好的扩展能力及实时性,千台实例集群周运维成本低于10分钟。本文将详细阐述 Watt 计算引擎的演进历程及架构设计,同时详细介绍其全面提升计算能力、吞吐能力、降低运维成本所采用的各项技术方案。希望能给大家一些启发或者帮助。

Java线程池实现原理及其在美团业务中的实践

2020-04-03
阅读 13 分钟
3k
随着计算机行业的飞速发展,摩尔定律逐渐失效,多核CPU成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C提供的线程池:ThreadPoolExecutor类,帮助开发人员管理线程并方便地执行并行任务。了解并合理使用线程池,是一个开发人员必修的基本功。

想进美团不知道选哪个技术岗位?这里有一份通关秘籍!

2020-03-26
阅读 13 分钟
4.9k
随着互联网的高速发展,技术岗位在不断地细分,比如软件开发不仅分为前端和后端,前端会分为Web、iOS和Android三个方向,后端又分为后台、系统、数据等。现在异常火爆的AI方向更是让人「眼花缭乱」,深度学习、数据挖掘、NLP、人脸识别、知识图谱等等。那么,我们应该如何更好地选择适合自己的技术岗位呢?