Flink Kafka Connector与Exactly Once剖析

2019-09-18
阅读 12 分钟
5.8k
Flink Kafa Connector是Flink内置的Kafka连接器,它包含了从Kafka Topic读入数据的Flink Kafka Consumer以及向Kafka Topic写出数据的Flink Kafka Producer,除此之外Flink Kafa Connector基于Flink Checkpoint机制提供了完善的容错能力。本文从Flink Kafka Connector的基本使用到Kafka在Flink中端到端的容错原理展开讨论。

两年Flink迁移之路:从standalone到on yarn,处理能力提升五倍

2019-08-28
阅读 11 分钟
10k
在2017年上半年以前,TalkingData的App Analytics和Game Analytics两个产品,流式框架使用的是自研的td-etl-framework。该框架降低了开发流式任务的复杂度,对于不同的任务只需要实现一个changer链即可,并且支持水平扩展,性能尚可,曾经可以满足业务需求。

Flink Window基本概念与实现原理

2019-08-19
阅读 19 分钟
6.3k
Window意为窗口。在流处理系统中数据源源不断流入到系统,我们可以逐条处理流入的数据,也可以按一定规则一次处理流中的多条数据。当处理数据时程序需要知道什么时候开始处理、处理哪些数据。窗口提供了这样一种依据,决定了数据何时开始处理。