Flink流式框架中的时间语义和watermark
一、时间（Time）语义
1）Event Time：事件创建的时间；
2）Ingestion Time：数据进入Flink的时间；
3）Processing Time：执行操作算子的本地系统时间，与机器相关；
1、哪种时间语义更重要
1）不同的时间语义有不同的应用场合；
2）我们往往更关心事件时间（Event Time）；
3）某些应用场合，不应该使用Processing Time
4）Event Time可以从日志数据的时间戳（timestamp）中提取
*****2017-11-02 18:37:15.624 INFO Fail over to rm
二、在代码中设置Event Time
1）我们可以直接在代码中，对执行环境调用setStreamTimeCharacteristic方法，设置流的时间特性；
2）具体时间，还需要从数据中提取时间戳（timestamp）
val env = StreamExecutionEnvironment.getExecutionEnvironment
// 从调用时刻开始给env创建的每一个stream追加时间特征
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
1、乱序数据的影响
1）当Flink以Event Time模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子；
2）由于网络、分布式等原因，会导致乱序数据的产生；
3）乱序数据会让窗口计算不准确；
2、水位线（Watermark）
》》怎样避免乱序数据带来计算不正确？
》》遇到一个时间戳达到了窗口关闭时间，不应该立刻触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口；
1）Watermark是一种衡量Event Time进展的机制，可以设定延迟触发；
2）Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现；
3）数据流中的Watermark用于表示timestamp小于Watermark的数据，都已经到达了，因此，window的执行也是由Watermark 触发的；
4）Watermark用来让程序自己平衡延迟和结果正确性；
3、Watermark的特点
1）Watermark是一条特殊的数据记录
2）Watermark必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退；
3）Watermark与数据的时间戳相关；
4、Watermark的传递
5、Watermark的引入
1）Event Time的使用一定要指定数据源中的时间戳；
2）调用assignTimestampAndWatermarks方法，传入一个BoundedOutOfOrdernessTimestampExtractor，就可以指定watermark
3）对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了
// 注意单位是毫秒，所以根据时间戳的不同，可能需要乘1000
dataStream.assignAscendingTimestamps(_.timestamp * 1000)
4）Flink暴露了TimestampAssigner接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成Watermark
dataStream.assignTimestampsAndWatermarks(new MyAssigner())
// MyAssigner可以有两种类型，都继承自TimestampAssigner
6、TimestampAssigner
1）定义了抽取时间戳，以及生成Watermark的方法，有两种类型：
**1** AssignerWithPeriodicWatermarks
**** 周期性的生成Watermark：系统会周期性的将Watermark插入到流中；
**** 默认周期是200毫秒，可以使用ExecutionConfig.setAutoWatermarkInterval()方法进行设置；
**** 升序和前面乱序的处理BoundedOutOfOrderness，都是基于周期性Watermark的。
**2** AssignerWithPunctuatedWatermarks
**** 没有时间周期规律，可打断的生成Watermark；
7、Watermark的设定
1）在Flink中，Watermark由应用程序开发人员生成，这通常需要对相应的领域有一定的了解；
2）如果Watermark设置的延迟太久，收到结果的速度可能就会很慢，解决办法是在水位线到达之前输出一个近似结果；
3）而如果Watermark到达得太早，则可能收到错误结果，不过Flink处理迟到数据的机制可以解决这个问题；