深度剖析 Kafka Producer 的缓冲池机制【图解 + 源码分析】

2020-09-14
阅读 6 分钟
2k
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞?」中提到了缓冲池,后面再经过一番阅读源码后,发现了这个缓冲池设计的很棒,被它的设计思想优雅到了,所以忍不住跟大家继续分享一波。

Kafka Producer 异步发送消息居然也会阻塞?

2020-09-13
阅读 4 分钟
3.8k
Kafka 一直以来都以高吞吐量的特性而家喻户晓,就在上周,在一个性能监控项目中,需要使用到 Kafka 传输海量消息,在这过程中遇到了一个 Kafka Producer 异步发送消息会被阻塞的问题,导致生产端发送耗时很大。

使用 K8s 进行作业调度实战分享

2020-08-27
阅读 5 分钟
2.1k
最近在公司的数据同步项目(以下简称 ZDTP)中,需要使用到分布式调度数据同步执行单元,目前使用的方案是将数据同步执行单元打包成镜像,使用 K8s 进行调度。

图解 K8s 核心概念和术语

2020-08-24
阅读 4 分钟
3.2k
我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm,主要解决当时公司内部业务项目部署繁琐的问题,我记得当时项目实现容器化之后,花在项目部署运维的时间大大减少了,当时觉得这玩意还挺新鲜的,原来自动化运维可以这么玩。后面由于工作原因,很久没碰过容器方面的知识了。最近在公司的数据同步项目中,需要...

Spring 异步实现原理与实战分享

2020-06-18
阅读 7 分钟
1.9k
最近因为全链路压测项目需要对用户自定义线程池 Bean 进行适配工作,我们知道全链路压测的核心思想是对流量压测进行标记,因此我们需要给压测的流量请求进行打标,并在链路中进行传递,那么问题来了,如果项目中使用了多线程处理业务,就会造成父子线程间无法传递压测打标数据,不过可以利用阿里开源的 ttl 解决这个问题。

我参与 Seata 开源项目的一些感悟

2020-05-18
阅读 3 分钟
1.8k
丁老师在他的知识星球邀请我回答以下一个问题: 我觉得这个问题非常有意思,姑且把它贴到公众号这里,与大家分享一下我对这个问题的一些感悟。 感谢丁老师的邀请问答: 在这里我就简单说下,我这段时间参与 Seata 开源项目的一些感悟: 1、如何参与到开源项目中并贡献自己的一份力量? 我一直都有上 GitHub 搜索一些主流...

记一次 Kafka 重启失败问题排查

2020-03-16
阅读 4 分钟
3k
在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,导致某些消息发送到该分区时,会报如下 no leader 的错误信息:

RocketMQ主从同步源码分析

2019-10-14
阅读 12 分钟
1.6k
之前写了一篇关于 RocketMQ 队列与 Kafka 分区副本的区别文章,里面提到了 RocketMQ 的消息冗余主要是通过主备同步机制实现的,这跟 Kafka 分区副本的 Leader-Follower 模型不同,HA(High Available) 指的是高可用性,而 RocketMQ 的HA机制是通过主备同步实现消息的高可用。