Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理

2023-07-25
阅读 3 分钟
841
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制(GEO Replication)、快速扩容、灵活容错等特性,GEO Replication 可以原生支持数据和订阅状态在多个集群之间进行复制,GEO 目前在 Apache InLong 内部已经有长期稳定的实践,本文主要讲述 GEO 中的订阅状态的同...

消息队列 CKafka 跨洋数据同步性能优化

2023-07-21
阅读 7 分钟
827
导语本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题,跨地域延时问题比较典型,所以详细记录下来做个总结。一. 背景为了满足客户跨地域容灾、冷备的诉求,消息队列 CKafka 通过连接器功能,提供了跨地域数据同步的能力,支持跨地域秒级准实时数据同步。整体的架构图:如上图所示,CKafka 跨地...

微服务优雅上下线的实践方法

2023-07-12
阅读 9 分钟
1.1k
本文介绍了微服务优雅上下线的实践方法及原理,包括适用于 Spring 应用的优雅上下线逻辑和服务预热,以及使用 Docker 实现无损下线的 Demo。同时,本文还总结了优雅上下线的价值和挑战。

基于 DTS 同步 MySQL 全增量数据至 CKafka,构建实时数仓的最佳实践

2023-06-28
阅读 5 分钟
848
随着 IT 技术与大数据的不断发展,越来越多的企业开始意识到数据的价值,通过大数据分析,可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用,成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓,将多个数据源通过数据集成技术,汇集一起进行数据分...

业务高速增长,如祺出行如何用腾讯云消息队列 RocketMQ 应对挑战

2023-06-01
阅读 4 分钟
576
作为广汽集团旗下的智慧出行平台,如祺出行上线四年时间,用户规模和订单量保持高速增长。在过去的2022年,如祺出行平台累计注册用户突破1800万,同比增长64%,年度订单总量超7000万,同比增长52%。

重新理解RocketMQ Commit Log存储协议

2023-05-18
阅读 4 分钟
837
最近突然感觉:很多软件、硬件在设计上是有root reason的,不是by desgin如此,而是解决了那时、那个场景的那个需求。一旦了解后,就会感觉在和设计者对话,了解他们的思路,学习他们的方法,思维同屏:活到老学到老。

跨数据中心下的 Kafka 高可用架构分析

2023-04-26
阅读 10 分钟
1.6k
本文介绍了 Kafka 跨数据中心的两种部署方式,简要分析两种方式下的不同架构以及优缺点,对这些架构可能碰到的问题也提供了一些解决思路;同时也说明了 Kafka 跨数据中心部署的社区解决方案和商业化解决方案。

解决异构系统集成难题,富融银行这样做

2023-03-29
阅读 4 分钟
801
富融银⾏是⼀家⽴⾜于⾹港,⾯向全球业务的虚拟银⾏,创立以来先后斩获 2021年-杰出虚拟银行服务大奖、2022年-[领航9+2粤港澳大湾区奖项]粤港澳大湾区最佳银行 等荣誉。

Apache Pulsar 技术系列 - Pulsar 总览

2023-03-24
阅读 6 分钟
1.1k
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,数据持久化依赖 Apache BookKeeper 实现,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文将从以下几个方面为大家介绍 Apache Pulsar的设计原理和特性。

解决创新业务的三大架构难题,央广购物用对了这个关键策略

2023-03-21
阅读 3 分钟
732
央广购物系广电总局批准核发的,依托于中央广播电视总台的全国性电视购物公司。央广购物以电视直播和网络直播为基础,持续构建内容电商生态和服务能力。

面向异构技术栈和基础设施的服务治理标准化

2023-02-28
阅读 6 分钟
1.2k
在已落幕的 QCon 全球软件开发大会·北京站《云原生微服务架构新趋势》专场,业界大佬们针对以基础设施和业务分离为核心目标,多运行时 /Dapr 等概念/项目被提出已有 2 年有余,它们是否真正解决了我们面临的问题?业务的反馈如何?是一个明确的新趋势吗?另一边,微服务治理标准化是否可行? Proxyless 是正确的路线吗? ...

微服务产品12月产品动态

2023-01-09
阅读 1 分钟
900
12月动态TSE 云原生 API 网关【新功能】Kong 网关支持流量镜像,您可将线上流量镜像到测试环境进行请求分析。【新功能】Kong 网关新增插件管理,方便您管理系统插件、Kong原生插件和自定义插件。【商业化】Kong 网关新增南京地域。TSE 注册配置中心【迁移能力】Zookeeper新增业务平滑迁移功能,助力自建注册中心迁移。【...

Pulsar 在腾讯云的稳定性实践

2022-12-28
阅读 6 分钟
902
2022腾讯全球数字生态大会已圆满落幕,大会以“数实创新、产业共进”为主题,聚焦数实融合,探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场,各业务负责人与客户、合作伙伴共同总结经验、凝结共识,推动数实融合新发展。

迎接2023 | 北极星开源一周年,感恩礼倾情相送

2022-12-20
阅读 5 分钟
1.1k
北极星(Polaris Mesh)是开源的一体化服务治理平台,致力于解决分布式和微服务架构中的服务管理、流量管理、故障容错和配置管理问题,提供业务监控、流量监控、事件中心和操作记录等全方位的可观测性能力,帮助用户快速低门槛构建微服务。

轻量级SaaS化应用数据链路构建方案的技术探索及落地实践

2022-12-19
阅读 7 分钟
1.2k
2022腾讯全球数字生态大会已圆满落幕,大会以“数实创新、产业共进”为主题,聚焦数实融合,探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场,各业务负责人与客户、合作伙伴共同总结经验、凝结共识,推动数实融合新发展。

Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障

2022-12-19
阅读 4 分钟
1.4k
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。其原生支持了跨洲际级别的跨地域复制的解决方案,并结合其自身的 Tenant 和 Namespace 级别的抽象,可以灵活的支持不多种类,不同场景下的跨地域复制解决方案。

微服务架构下路由、多活、灰度、限流的探索与挑战

2022-12-13
阅读 7 分钟
894
2022腾讯全球数字生态大会已圆满落幕,大会以“数实创新、产业共进”为主题,聚焦数实融合,探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场,各业务负责人与客户、合作伙伴共同总结经验、凝结共识,推动数实融合新发展。

腾讯云消息队列产品11月产品动态

2022-12-06
阅读 1 分钟
880
【新功能】支持公网带宽:专享集群已开启公网带宽计费,开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费,建议在测试、调试等不影响生产环境的场景下使用公网。

Apache Pulsar 在微信大流量实时推荐场景下实践

2022-11-10
阅读 7 分钟
733
本文整理自 8 月 Apache Pulsar Meetup 上,刘燊题为《Apache Pulsar 在微信的大流量实时推荐场景实践》的分享。本文介绍了微信团队在大流量场景下将 Pulsar 部署在 K8s 上的实践与优化、非持久化 Topic 的应用、负载均衡与 Broker 缓存优化实践与COS Offloader 开发与应用。

微服务上云快速入门指引

2022-11-10
阅读 7 分钟
955
微服务产品团队为了广大开发者朋友们可以更好的使用腾讯云微服务产品,将持续为大家提供微服务上云快速入门的指引性文档,内容通俗易懂易上手,本篇为本系列的第一篇,欢迎大家收看。

Techo Day 腾讯技术开放日,微服务产品重磅发布

2022-11-07
阅读 3 分钟
803
“无处不在的云原生”,是新一代开发者与开发环境的大势所趋,2022年10月29日,第二期Techo Day 腾讯技术开放日隆重落幕!本期技术开放日以“云原生全栈开发与实践”为主题,旨在呈现腾讯更底层的云原生理念成果、全栈开发能力及最佳案例实践!

腾讯云消息队列产品10月产品动态

2022-11-07
阅读 2 分钟
925
【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造,兼容社区SDK,具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨,已经在多个外部客户落地,涉及教育、出行、游戏等多个行业。

腾讯云微服务引擎 TSE 10月产品动态

2022-11-02
阅读 2 分钟
740
【新功能】Kong 网关支持弹性伸缩:Kong上线根据 系统指标(CPU利用率)自动扩缩容能力,您可以配置弹性伸缩策略,Kong 将自动对节点进行弹性伸缩。
封面图

好未来基于北极星的注册中心最佳实践

2022-11-02
阅读 4 分钟
1.2k
好未来是一家以智慧教育和开放平台为主体,在全球范围内服务公办教育,助力民办教育,探索未来教育新模式的科技教育公司,旗下拥有学而思素养、学而思网校等品牌。作为国家新一代人工智能开放创新平台在教育行业的代表,好未来深耕教育场景,目前已积累15大类共计170余种AI能力,覆盖视觉、语音、自然语言处理等多个方向...

百万级Topic,Apache Pulsar 在腾讯云的稳定性优化实践

2022-09-28
阅读 9 分钟
1.2k
Apache Pulsar 作为云原生时代消息流系统,采用存储计算分离架构,支持大集群、多租户、百万级 Topic、跨地域数据复制、持久化存储、分层存储、高可扩展性等企业级和金融级功能。Apache Pulsar 提供了统一的消费模型,支持消息队列和流两种场景,既能为队列场景提供企业级读写服务质量和强一致性保障,又能为流场景提供...

PolarisMesh北极星 V1.11.3 版本发布

2022-09-20
阅读 4 分钟
797
北极星:一个支持多语言、多框架的云原生服务发现和治理中心,提供高性能SDK和无侵入Sidecar两种接入方式。版本信息北极星服务端Release 链接: [链接]主要变化在 v1.11.3 版本中,我们主要对北极星的限流功能进行了以下优化,方便用户更好的使用北极星的单机限流和分布式限流能力。将限流规则从服务信息中独立为单独的...

Spring Cloud Tencent 1.7 版本发布

2022-09-15
阅读 3 分钟
904
Spring Cloud Tencent 是腾讯开源的一站式微服务解决方案,实现了Spring Cloud 标准微服务 SPI,开发者可以基于 Spring Cloud Tencent 快速开发 Spring Cloud 云原生分布式应用。Spring Cloud Tencent 的核心依托腾讯开源的一站式服务发现与治理平台 Polaris,实现各种分布式微服务场景。

Apache Pulsar系列 —— 深入理解Bookie GC 回收机制

2022-09-08
阅读 13 分钟
1.4k
Apache Bookkeeper 是基于日志的一个持久化系统,所有的数据会以日志的形式存储到 Ledger 磁盘的 Entry Log 文件中,之后通过后台异步回收的形式来将 EntryLog 文件回收掉。但是在我们实际的使用场景中,发现很久之前的 EntryLog 文件无法被删除掉,对 Entry Log 文件存在的时间进行监控,具体如下:
封面图

千亿级、大规模:腾讯超大 Apache Pulsar 集群性能调优实践

2022-08-05
阅读 9 分钟
1.4k
腾讯高级软件工程师,目前就职于腾讯 TEG 数据平台部,负责 Apache Pulsar、Apache Inlong、DB 数据采集等项目的开发工作。目前专注于大数据领域,消息中间件、大数据数据接入等方向,拥有 10 年 Java 相关开发经验。
封面图

TSF微服务治理实战系列(二)——服务路由

2022-08-05
阅读 7 分钟
1.1k
在服务实例数量和规模较大的业务场景下,服务路由是系统比较常见的诉求,比如针对业务属性的全链路灰度、测试环境多分支路由、多Region多AZ时的就近路由等。TSF基于标签化能力完成流量染色和标签自动传递,仅通过控制台配置即可实现服务路由、全链路灰度及就近路由功能,快速满足客户的业务分流诉求。服务路由从行为上讲...
封面图