Flink之流处理概念--时间语义--Trigger

Flink的窗口操作

对于Flink的窗口操作，尤其是基于事件时间的窗口操作，大家还要掌三个重要的知识点：

1. 窗口分配器：就是决定着流入flink的数据，该属于哪个窗口。
2. 时间戳抽取器/watermark生成器：抽取时间戳并驱动着程序正常执行。
3. trigger：决定着数据啥时候落地。

数据流入flink的source之后，假如需要窗口函数，我们就要使用一定的规则来判断或者叫决定该数据应该属于哪个窗口，然后是窗口要是基于事件时间的话我们还要提供时间戳抽取器和watermark分配器，最后还要指定满足何种条件触发窗口计算并输出结果。

那这里可能会说了，触发窗口计算不就是时间到窗口结束时间了直接输出 不就行了吗？

实际上是不行的，基于事件时间处理机制，数据会在有些意想不到的情况下滞后，比如forward故障等。这种情况，对于flink来说我们可以设置一些参数来允许处理滞后的元素，比如允许其滞后一小时，那么这个时候实际上窗口输出间隔就是要加上这个滞后时间了。这时候假如我们想要尽可能的实时输出的话，就要用到flink的trigger机制。

Trigger机制

Trigger定义了何时开始使用窗口计算函数计算窗口。每个窗口分配器都会有一个默认的Trigger。如果，默认的Trigger不能满足你的需求，你可以指定一个自定义的trigger()。

• onElement():进入窗口的每个元素都会调用该方法。
• onEventTime():事件时间timer触发的时候被调用。
• onProcessingTime():处理时间timer触发的时候会被调用。
• onMerge():有状态的触发器相关，并在它们相应的窗口合并时合并两个触发器的状态，例如使用会话窗口。
• clear():该方法主要是执行窗口的删除操作。

TriggerResult

• CONTINUE:什么都不做。
• FIRE:触发计算。
• PURE:清除窗口的元素。
• FIRE_AND_PURE:触发计算和清除窗口元素。

内置和自定义触发器

• EventTimeTrigger：基于事件时间和watermark机制来对窗口进行触发计算。
• ProcessingTimeTrigger:基于处理时间触发。
• CountTrigger:窗口元素数超过预先给定的限制值的话会触发计算。
• PurgingTrigger作为其它trigger的参数，将其转化为一个purging触发器。