Apache Beam的分窗与触发器

本文参考Apache Beam官方编程手册
可以结合官方的Mobile Game 代码阅读本文。

在默认情况下，Apache Beam是不分窗的，也就是采用GlobalWindow，而如果同时也不设置自定义的触发器，那么Beam会在所有数据都收集到之后才开始对数据进行处理。这通常只能适用于有限数据且对实时性要求不高的情况。当输入为无限流数据，我们可以
1）设置合适的窗口大小（根据时间戳），在窗口末端进行数据处理；
2）设置触发器，当条件满足时触发，进行数据处理；
3）同时设置窗口和触发器。
时间戳说明：Beam的数据都是保存在PCollection中。当读入数据时，PCollection为每个元素都自动生成一个内置的时间戳，对于无限输入，数据的时间戳不同。而对于有限输入，由于是同时读入，所有的元素的时间戳都是一样的，这时候分窗是没有意义的（都在一个窗口）。而我们可以手动为每个元素设置时间戳，通常采用数据中已有的时间属性（比如日志中一般都会带有事件时间）。可以在DoFn中为数据带上时间戳，如：

@ProcessElement
public void processElement(ProcessContext c) {
  c.outputWithTimestamp(c.element(), new Instant(XXX));
}

窗口类型：

1）全局窗口
就是默认不分窗的情况。
apply(Windows.<TYPE>into(new GlobalWindows()));
2）固定时间大小窗口
最常见的分窗方式，按照时间戳把数据处理窗口分为固定长度。
apply(Windows.<TYPE>into(FixedWindows.of(Duration.standardMinutes(XX))))

3）滑动窗口
需要设置2个参数，窗口大小和窗口产生周期。窗口之间有重叠，通常用于计算平均数的情况（暂没用过）

4）会话窗口
一般用于相同key数据聚合，同一个key的数据之间时间间隔较大的会被分到不同的窗口。

**

水位线和超时数据：

**
当使用用户自定义的时间戳时，先处理的数据并不总是时间戳较小的，有可能出现时间戳小的数据在后面才产生的情况。Beam通常会给窗口设定一个处理期限时间（图中纵轴），当超过这个时间的数据被视为超时数据，而这些期限时间的连线即水位线。

系统会根据实际情况进行预测生成水位线，在默认情况下不对超时数据进行处理，而我们可以通过设置触发器对超时数据进行额外处理。

触发器种类

1）时间时间触发器
根据时间戳进行触发。

.triggering(AfterWatermark.pastEndOfWindow()//水位线到达时触发一次

    .withEarlyFirings(AfterProcessingTime.pastFirstElementInPane()
        .plusDelayOf(FIVE_MINUTES))//水位线之前，每次触发后第一个数据来到之后的5分钟时再触发

    .withLateFirings(AfterProcessingTime.pastFirstElementInPane()
    .plusDelayOf(TEN_MINUTES)))//水位线之后，每次触发后第一个数据来到之后的10分钟时再触发

以上分别对水位线上中下的3种数据进行不同的处理。需要注意的是withEarlyFirings和withLateFirings方法生成的触发器是连续的而不是一次性的。
2）处理时间触发器

AfterProcessingTime.pastFirstElementInPane().plusDelayOf(FIVE_MINUTES)

如方法的字面意思，仅在第一个数据到达后的5分钟时触发一次。
3）数据驱动型触发器

AfterPane.elementCountAtleast(XX)

当处理到XX个时触发一次。需要注意的是当数据个数小于XX时永远不会触发数据处理。
4）混合触发器
将多个触发器混合起来，比如1）中的代码就是3个触发器混合。其他的还有
①Repeatedly.forever（一次性触发器）
将一次性触发器变为连续型触发器，触发后再次等待触发。例如与AfterProcessingTime.pastFirstElementInPane().plusDelayOf(FIVE_MINUTES)一起用可以实现每个数据到达后的５分钟进行处理，经常用于全局窗口，可以用orFinally（触发器）来设置停止条件。
②AfterEach.inOrder（触发器１，触发器２...）
当触发器１满足后等待触发器２...知道所有触发器满足后开始数据处理。
③AfterFirst（触发器１，触发器２..)和AfterAll（触发器１，触发器２..)
这２个分别为或，与的逻辑。
④orFinally
见①

处理方式（官方文档解释的很清楚了）

Accumulating Mode:

If our trigger is set to .accumulatingFiredPanes, the trigger emits the following values each time it fires. Keep in mind that the trigger fires every time three elements arrive:

  First trigger firing:  [5, 8, 3]
  Second trigger firing: [5, 8, 3, 15, 19, 23]
  Third trigger firing:  [5, 8, 3, 15, 19, 23, 9, 13, 10]

Discarding Mode:

If our trigger is set to .discardingFiredPanes, the trigger emits the following values on each firing:

  First trigger firing:  [5, 8, 3]
  Second trigger firing:           [15, 19, 23]
  Third trigger firing:                         [9, 13, 10]

超时数据处理

.withAllowedLateness(Duration.XXXX(XXX))
可设置允许超时多长时间的数据。