Prometheus 作为一个微服务架构监控系统的解决方案，它和容器也脱不开关系。早在 2006 年 8 月 9 日，Eric Schmidt 在搜索引擎大会上首次提出了云计算（Cloud Computing）的概念，在之后的十几年里，云计算的发展势如破竹。在 2013 年，Pivotal 的 Matt Stine 又提出了云原生（Cloud Native）的概念，云原生由微服务架构...

关于什么是有状态的flink计算，官方给出的回答是这样的：在flink程序内部存储计算产生的中间结果，并提供给Function或算子计算结果使用。

Flink提供了以下三种开箱即用的状态后端(用于存储状态数据)MemoryStateBackendFsStateBackendRocksDBStateBackendMemoryStateBackendMemoryStateBackend内部将state作为对象保存在taskManager的堆内存中，通过checkpoint机制，MemoryStateBackend将state进行快照并保存Jobmanager的堆内存中。MemoryStateBackend可以通过...

Restart Strategies（重启策略)重启策略有三种:Fixed delay 固定时间重启 ，配置文件中的值fixed-delayFailure rate 根据失败率，配置文件中的值failure-rateNo restart 无重启，配置文件中的值None固定延迟重启策略（Fixed Delay Restart Strategy）固定延迟重新启动策略尝试给定次数重新启动作业, 如果超过最大尝试次...

operators、data sources、data sinks都可以调用setParallelism()方法来设置parallelism

Flink的窗口操作对于Flink的窗口操作，尤其是基于事件时间的窗口操作，大家还要掌三个重要的知识点：窗口分配器：就是决定着流入flink的数据，该属于哪个窗口。时间戳抽取器/watermark生成器：抽取时间戳并驱动着程序正常执行。trigger：决定着数据啥时候落地。数据流入flink的source之后，假如需要窗口函数，我们就要使...

​ 前面学习的Transformations 是无法访问事件的时间戳和水位线信息的，如MapFunction的map转换算子是无法访问时间戳和当前事件的事件时间。基于此，DataStream API提供了一系列的Low Level转换算子--Process Function API，与高层算子不同，通过这些底层转换算子我们可以访问数据的时间戳，watermark以及注册定时事件。P...

作为有状态分布式流式处理引擎，我们会考虑到容灾问题，而且希望是精确一次的状态容错保证，因为如果修改超过了一次就意味着数据引擎产生的结果是不可靠的。于是我们开始思考以下几点问题：

mapDataStream --> DataStream：可以理解为映射，对每个元素进行一定的变换后，映射为另一个元素。 {代码...} flatMapDataStream --> DataStream：输入一个参数，产生0、1或者多个输出，这个多用于拆分操作flatMap 和 map 方法的使用相似，但是因为一般 Java 方法的返回值结果都是一个，引入 flatMap 后，我们可以...

ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载Flink的Jar包和配置来构建环境，然后启动JoManager。

Flink的部署有三种模式，分别是Local，Standalone Cluster和Yarn Cluster，这里我们主要讲如何配置Yarn Cluster。

在通常的微服务中，服务之间需要频繁的传递各种负责的数据结构，但是kafka仅仅支持简单的类型如String，Integer。于是我们在服务之间使用JSONObject，因为JSON可以很容易的转化为String，而String的序列化和反序列化已经被支持。