〇、老师及课程介绍
一、今日内容
1、什么是实时计算
微批处理、流式处理、实时计算
水流和车流的例子
spark streaming就是一种微批处理，水满了才处理，进入下一个地方
流式计算：没有等待
深入：红绿灯交替的场景是微批处理，就不是流式计算了
水流的场景是流式计算时：直饮机，自来水直接可以饮用，出水的过程没有停一停等一等
其他：水流、视频流、
2、数据处理的四大概念
实时：微批处理或流式处理，20%，要求高，trouble shooting比较难
离线：80%的工作量
3、实时处理的价值
例如：送餐
4、应用场景：风控、欺诈、反欺诈
三、批处理框架比较
1、三种框架
2、storm发展历程
storm基于推特的storm自研产生
不流行的原因：开发语言不常用，准确性低，吞吐能力
阿里基于java重现，开发了jstorm
3、Spark Streaming的发展历程
为了解决准确性问题，以及吞吐量提升的问题
由流处理，转为微批处理语言
4、flink的发展历程
欧洲，德国柏林的小松鼠
5、性能对比
四、Flink介绍
1、flink在阿里的应用
2、技术栈
云计算节省成本，例如喝牛奶
流批一体，可以实现流处理，也可以实现批处理
3、适用于所有人的编程模型
越往上，越方便，越高效
越到底层，越易于troubleshooting
4、Flink核心内容-四个顶梁柱
查询状态
水印标签就是等待的时间，为了解决网络延迟带来的影响-相当于黄灯
5、无界数据流中的有限数据集
现象&技术方式-分段数汽车
数据或时间到了触发计算（汽车通行）
五、实战技术
1、技术和生活举例了解三个内容
固态水变液态水
sink：下沉
2、source
MySQL构成数据源
3、transform
通过水印标签watermark，实现了准确性
事件时间、摄入时间、处理时间
事件时间是客户端发生的时间
摄入时间是处理节点接收到的时间
处理时间是服务开始处理的时间
4、sink，把数据推送给谁
5、其他
val=value，是常量
var=variable，是变量
6、课程内容
