《大数据实时计算引擎 Flink 实战与性能优化》新专栏

2022-10-13,,,,

基于 flink 1.9 讲解的专栏,涉及入门、概念、原理、实战性能调优、系统案例的讲解。

专栏介绍

扫码下面专栏二维码可以订阅该专栏

首发地址:

专栏地址:

专栏亮点

  • 全网首个使用最新版本 flink 1.9 进行内容讲解(该版本更新很大,架构功能都有更新),领跑于目前市面上常见的 flink 1.7 版本的教学课程。

  • 包含大量的实战案例和代码去讲解原理,有助于读者一边学习一边敲代码,达到更快,更深刻的学习境界。目前市面上的书籍没有任何实战的内容,还只是讲解纯概念和翻译官网。

  • 在专栏高级篇中,根据 flink 常见的项目问题提供了排查和解决的思维方法,并通过这些问题探究了为什么会出现这类问题。

  • 在实战和案例篇,围绕大厂公司的经典需求进行分析,包括架构设计、每个环节的操作、代码实现都有一一讲解。

随着大数据的不断发展,对数据的及时性要求越来越高,实时场景需求也变得越来越多,主要分下面几大类:

为了满足这些实时场景的需求,衍生出不少计算引擎框架。现有市面上的大数据计算引擎的对比如下图所示:

可以发现无论从 flink 的架构设计上,还是从其功能完整性和易用性来讲都是领先的,再加上 flink 是阿里巴巴主推的计算引擎框架,所以从去年开始就越来越火了!

目前,阿里巴巴、腾讯、美团、华为、滴滴出行、携程、饿了么、爱奇艺、有赞、唯品会等大厂都已经将 flink 实践于公司大型项目中,带起了一波 flink 风潮,势必也会让 flink 人才市场产生供不应求的招聘现象

专栏内容

预备篇

介绍实时计算常见的使用场景,讲解 flink 的特性,并且对比了 spark streaming、structured streaming 和 storm 等大数据处理引擎,然后准备环境并通过两个 flink 应用程序带大家上手 flink。

基础篇

深入讲解 flink 中 time、window、watermark、connector 原理,并有大量文章篇幅(含详细代码)讲解如何去使用这些 connector(比如 kafka、elasticsearch、hbase、redis、mysql 等),并且会讲解使用过程中可能会遇到的坑,还教大家如何去自定义 connector。

进阶篇

讲解 flink 中 state、checkpoint、savepoint、内存管理机制、cep、table/sql api、machine learning 、gelly。在这篇中不仅只讲概念,还会讲解如何去使用 state、如何配置 checkpoint、checkpoint 的流程和如何利用 cep 处理复杂事件。

高级篇

重点介绍 flink 作业上线后的监控运维:如何保证高可用、如何定位和排查反压问题、如何合理的设置作业的并行度、如何保证 exactly once、如何处理数据倾斜问题、如何调优整个作业的执行效率、如何监控 flink 及其作业?

实战篇

教大家如何分析实时计算场景的需求,并使用 flink 里面的技术去实现这些需求,比如实时统计 pv/uv、实时统计商品销售额 topk、应用 error 日志实时告警、机器宕机告警。这些需求如何使用 flink 实现的都会提供完整的代码供大家参考,通过这些需求你可以学到 processfunction、async i/o、广播变量等知识的使用方式。

系统案例篇

讲解大型流量下的真实案例:如何去实时处理海量日志(错误日志实时告警/日志实时 etl/日志实时展示/日志实时搜索)、基于 flink 的百亿数据实时去重实践(从去重的通用解决方案 --> 使用 bloomfilter 来实现去重 --> 使用 flink 的 keyedstate 实现去重)。

你将获得什么

  • 掌握 flink 与其他计算框架的区别
  • 掌握 flink time/window/watermark/connectors 概念和实现原理
  • 掌握 flink state/checkpoint/savepoint 状态与容错
  • 熟练使用 datastream/dataset/table/sql api 开发 flink 作业
  • 掌握 flink 作业部署/运维/监控/性能调优
  • 学会如何分析并完成实时计算需求
  • 获得大型高并发流量系统案例实战项目经验

适宜人群

  • flink 爱好者
  • 实时计算开发工程师
  • 大数据开发工程师
  • 计算机专业研究生
  • 有实时计算场景场景的 java 开发工程师
    原文出处:,欢迎关注我的公众号:zhisheng

《《大数据实时计算引擎 Flink 实战与性能优化》新专栏.doc》

下载本文的Word格式文档,以方便收藏与打印。