你公司到底需不需要引入實(shí)時(shí)計(jì)算引擎？

前言

本文摘自本人《大數(shù)據(jù)重磅炸彈——實(shí)時(shí)計(jì)算框架 Flink
<http://www.54tianzhisheng.cn/2019/08/06/flink-streaming-system/>》課程第二篇

自己之前發(fā)布過一篇 Chat 《大數(shù)據(jù)“重磅炸彈”：實(shí)時(shí)計(jì)算框架 Flink》
<https://gitbook.cn/gitchat/activity/5ca332d3d021d11a4ec5b457>，里面介紹了多種需求：
小田，你看能不能做個(gè)監(jiān)控大屏實(shí)時(shí)查看促銷活動(dòng)銷售額（GMV）？ 小朱，搞促銷活動(dòng)的時(shí)候能不能實(shí)時(shí)統(tǒng)計(jì)下網(wǎng)站的 PV/UV ?。?
小鵬，我們現(xiàn)在搞促銷活動(dòng)能不能實(shí)時(shí)統(tǒng)計(jì)銷量 Top5 ??？ 小李，怎么回事??？現(xiàn)在搞促銷活動(dòng)結(jié)果服務(wù)器宕機(jī)了都沒告警，能不能加一個(gè)？
小劉，服務(wù)器這會(huì)好卡，是不是出了什么問題啊，你看能不能做個(gè)監(jiān)控大屏實(shí)時(shí)查看機(jī)器的運(yùn)行情況？ 小趙，我們線上的應(yīng)用頻繁出現(xiàn) Error
日志，但是只有靠人肉上機(jī)器查看才知道情況，能不能在出現(xiàn)錯(cuò)誤的時(shí)候及時(shí)告警通知？ 小夏，我們 1 元秒殺促銷活動(dòng)中有件商品被某個(gè)用戶薅了 100
件，怎么都沒有風(fēng)控??？ 小宋，你看我們搞促銷活動(dòng)能不能根據(jù)每個(gè)顧客的瀏覽記錄實(shí)時(shí)推薦不同的商品啊？ ……
大數(shù)據(jù)發(fā)展至今，數(shù)據(jù)呈指數(shù)倍的增長，對(duì)實(shí)效性的要求也越來越高，于是像上面這種需求也變得越來越多了。

那這些場景對(duì)應(yīng)著什么業(yè)務(wù)需求呢？我們來總結(jié)下，大概如下：



初看這些需求，是不是感覺很難？

那么我們接下來來分析一下該怎么去實(shí)現(xiàn)？

從這些需求來看，最根本的業(yè)務(wù)都是需要實(shí)時(shí)查看數(shù)據(jù)信息
，那么首先我們得想想如何去采集這些實(shí)時(shí)數(shù)據(jù)，然后將采集的實(shí)時(shí)數(shù)據(jù)進(jìn)行實(shí)時(shí)的計(jì)算，最后將計(jì)算后的結(jié)果下發(fā)到第三方。

數(shù)據(jù)實(shí)時(shí)采集

就上面這些需求，我們需要采集些什么數(shù)據(jù)呢？

*
買家搜索記錄信息

*
買家瀏覽的商品信息

*
買家下單訂單信息

*
網(wǎng)站的所有瀏覽記錄

*
機(jī)器 CPU/MEM/IO 信息

*
應(yīng)用日志信息

數(shù)據(jù)實(shí)時(shí)計(jì)算

采集后的數(shù)據(jù)實(shí)時(shí)上報(bào)后，需要做實(shí)時(shí)的計(jì)算，那我們?cè)趺磳?shí)現(xiàn)計(jì)算呢？

*
計(jì)算所有商品的總銷售額

*
統(tǒng)計(jì)單個(gè)商品的銷量，最后求 Top5

*
關(guān)聯(lián)用戶信息和瀏覽信息、下單信息

*
統(tǒng)計(jì)網(wǎng)站所有的請(qǐng)求 IP 并統(tǒng)計(jì)每個(gè) IP 的請(qǐng)求數(shù)量

*
計(jì)算一分鐘內(nèi)機(jī)器 CPU/MEM/IO 的平均值、75 分位數(shù)值

*
過濾出 Error 級(jí)別的日志信息

數(shù)據(jù)實(shí)時(shí)下發(fā)

實(shí)時(shí)計(jì)算后的數(shù)據(jù)，需要及時(shí)的下發(fā)到下游，這里說的下游代表可能是：

* 告警方式（郵件、短信、釘釘、微信）
在計(jì)算層會(huì)將計(jì)算結(jié)果與閾值進(jìn)行比較，超過閾值觸發(fā)告警，讓運(yùn)維提前收到通知，及時(shí)做好應(yīng)對(duì)措施，減少故障的損失大小。



* 存儲(chǔ)（消息隊(duì)列、DB、文件系統(tǒng)等）
數(shù)據(jù)存儲(chǔ)后，監(jiān)控大盤（Dashboard）從存儲(chǔ)（ElasticSearch、HBase
等）里面查詢對(duì)應(yīng)指標(biāo)的數(shù)據(jù)就可以查看實(shí)時(shí)的監(jiān)控信息，做到對(duì)促銷活動(dòng)的商品銷量、銷售額，機(jī)器 CPU、MEM
等有實(shí)時(shí)監(jiān)控，運(yùn)營、運(yùn)維、開發(fā)、領(lǐng)導(dǎo)都可以實(shí)時(shí)查看并作出對(duì)應(yīng)的措施。

* 讓運(yùn)營知道哪些商品是爆款，哪些店鋪成交額最多，哪些商品成交額最高，哪些商品瀏覽量最多；


* 讓運(yùn)維可以時(shí)刻了解機(jī)器的運(yùn)行狀況，出現(xiàn)宕機(jī)或者其他不穩(wěn)定情況可以及時(shí)處理；




* 讓開發(fā)知道自己項(xiàng)目運(yùn)行的情況，從 Error 日志知道出現(xiàn)了哪些 Bug；


* 讓領(lǐng)導(dǎo)知道這次促銷賺了多少 money。


從數(shù)據(jù)采集到數(shù)據(jù)計(jì)算再到數(shù)據(jù)下發(fā)，整個(gè)流程在上面的場景對(duì)實(shí)時(shí)性要求還是很高的，任何一個(gè)地方出現(xiàn)問題都將影響最后的效果！



實(shí)時(shí)計(jì)算場景

前面說了這么多場景，這里我們總結(jié)一下實(shí)時(shí)計(jì)算常用的場景有哪些呢？

*
交通信號(hào)燈數(shù)據(jù)

*
道路上車流量統(tǒng)計(jì)（擁堵狀況）

*
公安視頻監(jiān)控

*
服務(wù)器運(yùn)行狀態(tài)監(jiān)控

*
金融證券公司實(shí)時(shí)跟蹤股市波動(dòng)，計(jì)算風(fēng)險(xiǎn)價(jià)值

*
數(shù)據(jù)實(shí)時(shí) ETL

*
銀行或者支付公司涉及金融盜竊的預(yù)警

……

另外我自己在我的群里也有做過調(diào)研 <https://t.zsxq.com/fYZZfYf>（不完全統(tǒng)計(jì)），他們?cè)诠?
Flink（一個(gè)實(shí)時(shí)計(jì)算框架）使用場景有這些：



總結(jié)一下大概有下面這四類：



* 實(shí)時(shí)數(shù)據(jù)存儲(chǔ)
實(shí)時(shí)數(shù)據(jù)存儲(chǔ)的時(shí)候做一些微聚合、過濾某些字段、數(shù)據(jù)脫敏，組建數(shù)據(jù)倉庫，實(shí)時(shí) ETL。

* 實(shí)時(shí)數(shù)據(jù)分析
實(shí)時(shí)數(shù)據(jù)接入機(jī)器學(xué)習(xí)框架（TensorFlow）或者一些算法進(jìn)行數(shù)據(jù)建模、分析，然后動(dòng)態(tài)的給出商品推薦、廣告推薦

* 實(shí)時(shí)監(jiān)控告警
金融相關(guān)涉及交易、實(shí)時(shí)風(fēng)控、車流量預(yù)警、服務(wù)器監(jiān)控告警、應(yīng)用日志告警

* 實(shí)時(shí)數(shù)據(jù)報(bào)表
活動(dòng)營銷時(shí)銷售額/銷售量大屏，TopN 商品

說到實(shí)時(shí)計(jì)算，這里不得不講一下和傳統(tǒng)的離線計(jì)算的區(qū)別！

實(shí)時(shí)計(jì)算 VS 離線計(jì)算

再講這兩個(gè)區(qū)別之前，我們先來看看流處理和批處理的區(qū)別：

流處理與批處理



看完流處理與批處理這兩者的區(qū)別之后，我們來抽象一下前面文章的場景需求（實(shí)時(shí)計(jì)算）：



實(shí)時(shí)計(jì)算需要不斷的從 MQ 中讀取采集的數(shù)據(jù)，然后處理計(jì)算后往 DB
里存儲(chǔ)，在計(jì)算這層你無法感知到會(huì)有多少數(shù)據(jù)量過來、要做一些簡單的操作（過濾、聚合等）、及時(shí)將數(shù)據(jù)下發(fā)。

相比傳統(tǒng)的離線計(jì)算，它卻是這樣的：



在計(jì)算這層，它從 DB（不限
MySQL，還有其他的存儲(chǔ)介質(zhì)）里面讀取數(shù)據(jù)，該數(shù)據(jù)一般就是固定的（前一天、前一星期、前一個(gè)月），然后再做一些復(fù)雜的計(jì)算或者統(tǒng)計(jì)分析，最后生成可供直觀查看的報(bào)表（dashboard）。

離線計(jì)算的特點(diǎn)

*
數(shù)據(jù)量大且時(shí)間周期長（一天、一星期、一個(gè)月、半年、一年）

*
在大量數(shù)據(jù)上進(jìn)行復(fù)雜的批量運(yùn)算

*
數(shù)據(jù)在計(jì)算之前已經(jīng)固定，不再會(huì)發(fā)生變化

*
能夠方便的查詢批量計(jì)算的結(jié)果

實(shí)時(shí)計(jì)算的特點(diǎn)


在大數(shù)據(jù)中與離線計(jì)算對(duì)應(yīng)的則是實(shí)時(shí)計(jì)算，那么實(shí)時(shí)計(jì)算有什么特點(diǎn)呢？由于應(yīng)用場景的各不相同，所以這兩種計(jì)算引擎接收數(shù)據(jù)的方式也不太一樣：離線計(jì)算的數(shù)據(jù)是固定的（不再會(huì)發(fā)生變化），通常離線計(jì)算的任務(wù)都是定時(shí)的，如：每天晚上
0 點(diǎn)的時(shí)候定時(shí)計(jì)算前一天的數(shù)據(jù)，生成報(bào)表；然而實(shí)時(shí)計(jì)算的數(shù)據(jù)源卻是流式的。


這里我不得不講講什么是流式數(shù)據(jù)呢？我的理解是比如你在淘寶上下單了某個(gè)商品或者點(diǎn)擊瀏覽了某件商品，你就會(huì)發(fā)現(xiàn)你的頁面立馬就會(huì)給你推薦這種商品的廣告和類似商品的店鋪，這種就是屬于實(shí)時(shí)數(shù)據(jù)處理然后作出相關(guān)推薦，這類數(shù)據(jù)需要不斷的從你在網(wǎng)頁上的點(diǎn)擊動(dòng)作中獲取數(shù)據(jù)，之后進(jìn)行實(shí)時(shí)分析然后給出推薦。

流式數(shù)據(jù)的特點(diǎn)

*
數(shù)據(jù)實(shí)時(shí)到達(dá)

*
數(shù)據(jù)到達(dá)次序獨(dú)立，不受應(yīng)用系統(tǒng)所控制

*
數(shù)據(jù)規(guī)模大且無法預(yù)知容量

*
原始數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價(jià)昂貴



實(shí)時(shí)計(jì)算的優(yōu)勢

實(shí)時(shí)計(jì)算一時(shí)爽，一直實(shí)時(shí)計(jì)算一直爽
，對(duì)于持續(xù)生成最新數(shù)據(jù)的場景，采用流數(shù)據(jù)處理是非常有利的。例如，再監(jiān)控服務(wù)器的一些運(yùn)行指標(biāo)的時(shí)候，能根據(jù)采集上來的實(shí)時(shí)數(shù)據(jù)進(jìn)行判斷，當(dāng)超出一定閾值的時(shí)候發(fā)出警報(bào)，進(jìn)行提醒作用。再如通過處理流數(shù)據(jù)生成簡單的報(bào)告，如五分鐘的窗口聚合數(shù)據(jù)平均值。復(fù)雜的事情還有在流數(shù)據(jù)中進(jìn)行數(shù)據(jù)多維度關(guān)聯(lián)、聚合、塞選，從而找到復(fù)雜事件中的根因。更為復(fù)雜的是做一些復(fù)雜的數(shù)據(jù)分析操作，如應(yīng)用機(jī)器學(xué)習(xí)算法，然后根據(jù)算法處理后的數(shù)據(jù)結(jié)果提取出有效的信息，作出、給出不一樣的推薦內(nèi)容，讓不同的人可以看見不同的網(wǎng)頁（千人千面）。

使用實(shí)時(shí)數(shù)據(jù)流面臨的挑戰(zhàn)

*
數(shù)據(jù)處理唯一性（如何保證數(shù)據(jù)只處理一次？至少一次？最多一次？）

*
數(shù)據(jù)處理的及時(shí)性（采集的實(shí)時(shí)數(shù)據(jù)量太大的話可能會(huì)導(dǎo)致短時(shí)間內(nèi)處理不過來，如何保證數(shù)據(jù)能夠及時(shí)的處理，不出現(xiàn)數(shù)據(jù)堆積？）

*
數(shù)據(jù)處理層和存儲(chǔ)層的可擴(kuò)展性（如何根據(jù)采集的實(shí)時(shí)數(shù)據(jù)量的大小提供動(dòng)態(tài)擴(kuò)縮容？）

*
數(shù)據(jù)處理層和存儲(chǔ)層的容錯(cuò)性（如何保證數(shù)據(jù)處理層和存儲(chǔ)層高可用，出現(xiàn)故障時(shí)數(shù)據(jù)處理層和存儲(chǔ)層服務(wù)依舊可用？）

總結(jié)


本文從日常需求來分析該如何去實(shí)現(xiàn)這類需求，需要實(shí)時(shí)采集、實(shí)時(shí)計(jì)算、實(shí)時(shí)下發(fā)，并用圖片把需求完成后的效果圖展示了出來，接著我們分析了對(duì)實(shí)時(shí)性要求高的計(jì)算這塊，然后將離線計(jì)算與實(shí)時(shí)計(jì)算進(jìn)行了對(duì)比、批處理與流處理進(jìn)行對(duì)比、離線計(jì)算的特點(diǎn)與實(shí)時(shí)計(jì)算的特點(diǎn)進(jìn)行了對(duì)比，再加上我自己的調(diào)研結(jié)果，歸納了實(shí)時(shí)計(jì)算的四種使用場景，提出了使用實(shí)時(shí)計(jì)算時(shí)要面臨的挑戰(zhàn)。因?yàn)楦鞣N需求，也就造就了現(xiàn)在不斷出現(xiàn)實(shí)時(shí)計(jì)算框架，而下文我們將重磅介紹我們推薦的實(shí)時(shí)計(jì)算框架
—— Flink。

Github 代碼倉庫

https://github.com/zhisheng17/flink-learning/
<https://github.com/zhisheng17/flink-learning/>

以后這個(gè)項(xiàng)目的所有代碼都將放在這個(gè)倉庫里，包含了自己學(xué)習(xí) flink 的一些 demo 和博客。

博客

1、Flink 從0到1學(xué)習(xí) —— Apache Flink 介紹
<http://www.54tianzhisheng.cn/2018/10/13/flink-introduction/>

2、Flink 從0到1學(xué)習(xí) —— Mac 上搭建 Flink 1.6.0 環(huán)境并構(gòu)建運(yùn)行簡單程序入門
<http://www.54tianzhisheng.cn/2018/09/18/flink-install>

3、Flink 從0到1學(xué)習(xí) —— Flink 配置文件詳解
<http://www.54tianzhisheng.cn/2018/10/27/flink-config/>

4、Flink 從0到1學(xué)習(xí) —— Data Source 介紹
<http://www.54tianzhisheng.cn/2018/10/28/flink-sources/>

5、Flink 從0到1學(xué)習(xí) —— 如何自定義 Data Source ？
<http://www.54tianzhisheng.cn/2018/10/30/flink-create-source/>

6、Flink 從0到1學(xué)習(xí) —— Data Sink 介紹
<http://www.54tianzhisheng.cn/2018/10/29/flink-sink/>

7、Flink 從0到1學(xué)習(xí) —— 如何自定義 Data Sink ？
<http://www.54tianzhisheng.cn/2018/10/31/flink-create-sink/>

8、Flink 從0到1學(xué)習(xí) —— Flink Data transformation(轉(zhuǎn)換)
<http://www.54tianzhisheng.cn/2018/11/04/Flink-Data-transformation/>

9、Flink 從0到1學(xué)習(xí) —— 介紹 Flink 中的 Stream Windows
<http://www.54tianzhisheng.cn/2018/12/08/Flink-Stream-Windows/>

10、Flink 從0到1學(xué)習(xí) —— Flink 中的幾種 Time 詳解
<http://www.54tianzhisheng.cn/2018/12/11/Flink-time/>

11、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 ElasticSearch
<http://www.54tianzhisheng.cn/2018/12/30/Flink-ElasticSearch-Sink/>

12、Flink 從0到1學(xué)習(xí) —— Flink 項(xiàng)目如何運(yùn)行？
<http://www.54tianzhisheng.cn/2019/01/05/Flink-run/>

13、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Kafka
<http://www.54tianzhisheng.cn/2019/01/06/Flink-Kafka-sink/>

14、Flink 從0到1學(xué)習(xí) —— Flink JobManager 高可用性配置
<http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/>

15、Flink 從0到1學(xué)習(xí) —— Flink parallelism 和 Slot 介紹
<http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/>

16、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)批量寫入到 MySQL
<http://www.54tianzhisheng.cn/2019/01/15/Flink-MySQL-sink/>

17、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 RabbitMQ
<http://www.54tianzhisheng.cn/2019/01/20/Flink-RabbitMQ-sink/>

18、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 HBase <https://t.zsxq.com/zV7MnuJ>

19、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 HDFS <https://t.zsxq.com/zV7MnuJ>

20、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Redis <https://t.zsxq.com/zV7MnuJ>

21、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Cassandra <https://t.zsxq.com/uVbi2nq>

22、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Flume <https://t.zsxq.com/zV7MnuJ>

23、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 InfluxDB <https://t.zsxq.com/zV7MnuJ>

24、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 RocketMQ <https://t.zsxq.com/zV7MnuJ>

25、Flink 從0到1學(xué)習(xí) —— 你上傳的 jar 包藏到哪里去了
<http://www.54tianzhisheng.cn/2019/03/13/flink-job-jars/>

26、Flink 從0到1學(xué)習(xí) —— 你的 Flink job 日志跑到哪里去了 <https://t.zsxq.com/zV7MnuJ>

27、阿里巴巴開源的 Blink 實(shí)時(shí)計(jì)算框架真香 <http://www.54tianzhisheng.cn/2019/02/28/blink/>

28、Flink 從0到1學(xué)習(xí) —— Flink 中如何管理配置？
<http://www.54tianzhisheng.cn/2019/03/28/flink-additional-data/>

29、Flink 從0到1學(xué)習(xí)—— Flink 不可以連續(xù) Split(分流)？
<http://www.54tianzhisheng.cn/2019/06/12/flink-split/>

30、Flink 從0到1學(xué)習(xí)—— 分享四本 Flink 國外的書和二十多篇 Paper 論文
<http://www.54tianzhisheng.cn/2019/06/13/flink-book-paper/>

31、Flink 架構(gòu)、原理與部署測試
<http://www.54tianzhisheng.cn/2019/06/14/flink-architecture-deploy-test/>

32、為什么說流處理即未來？ <http://www.54tianzhisheng.cn/2019/06/15/Stream-processing/>

33、OPPO 數(shù)據(jù)中臺(tái)之基石：基于 Flink SQL 構(gòu)建實(shí)時(shí)數(shù)據(jù)倉庫
<http://www.54tianzhisheng.cn/2019/06/16/flink-sql-oppo/>

34、流計(jì)算框架 Flink 與 Storm 的性能對(duì)比
<http://www.54tianzhisheng.cn/2019/06/17/flink-vs-storm/>

35、Flink狀態(tài)管理和容錯(cuò)機(jī)制介紹 <http://www.54tianzhisheng.cn/2019/06/18/flink-state/>

36、Apache Flink 結(jié)合 Kafka 構(gòu)建端到端的 Exactly-Once 處理
<http://www.54tianzhisheng.cn/2019/06/20/flink-kafka-Exactly-Once/>

37、360深度實(shí)踐：Flink與Storm協(xié)議級(jí)對(duì)比
<http://www.54tianzhisheng.cn/2019/06/21/flink-in-360/>

38、如何基于Flink+TensorFlow打造實(shí)時(shí)智能異常檢測平臺(tái)？只看這一篇就夠了
<http://www.54tianzhisheng.cn/2019/06/26/flink-TensorFlow/>

39、Apache Flink 1.9 重大特性提前解讀
<http://www.54tianzhisheng.cn/2019/07/01/flink-1.9-preview/>

40、Flink 全網(wǎng)最全資源（視頻、博客、PPT、入門、實(shí)戰(zhàn)、源碼解析、問答等持續(xù)更新）
<http://www.54tianzhisheng.cn/2019/12/31/Flink-resources/>

41、Flink 靈魂兩百問，這誰頂?shù)米。?<https://mp.weixin.qq.com/s/ok-YwuVbwAVtJz7hUCiZxg>

源碼解析

1、Flink 源碼解析 —— 源碼編譯運(yùn)行
<http://www.54tianzhisheng.cn/2019/01/30/Flink-code-compile/>

2、Flink 源碼解析 —— 項(xiàng)目結(jié)構(gòu)一覽
<http://www.54tianzhisheng.cn/2019/03/14/Flink-code-structure/>

3、Flink 源碼解析—— local 模式啟動(dòng)流程 <http://www.54tianzhisheng.cn/tags/Flink/>

4、Flink 源碼解析 —— standalone session 模式啟動(dòng)流程
<http://www.54tianzhisheng.cn/2019/03/15/Flink-code-Standalone-start/>

5、Flink 源碼解析 —— Standalone Session Cluster 啟動(dòng)流程深度分析之 Job Manager 啟動(dòng)
<http://www.54tianzhisheng.cn/2019/03/16/Flink-code-Standalone-JobManager-start/>

6、Flink 源碼解析 —— Standalone Session Cluster 啟動(dòng)流程深度分析之 Task Manager 啟動(dòng)
<http://www.54tianzhisheng.cn/2019/03/17/Flink-code-Standalone-TaskManager-start/>

7、Flink 源碼解析 —— 分析 Batch WordCount 程序的執(zhí)行過程
<http://www.54tianzhisheng.cn/2019/03/18/Flink-code-batch-wordcount-start/>

8、Flink 源碼解析 —— 分析 Streaming WordCount 程序的執(zhí)行過程
<http://www.54tianzhisheng.cn/2019/03/19/Flink-code-streaming-wordcount-start/>

9、Flink 源碼解析 —— 如何獲取 JobGraph？
<http://www.54tianzhisheng.cn/2019/03/21/Flink-code-JobGraph/>

10、Flink 源碼解析 —— 如何獲取 StreamGraph？
<http://www.54tianzhisheng.cn/2019/03/20/Flink-code-StreamGraph/>

11、Flink 源碼解析 —— Flink JobManager 有什么作用？
<http://www.54tianzhisheng.cn/2019/03/25/Flink-code-jobmanager/>

12、Flink 源碼解析 —— Flink TaskManager 有什么作用？
<http://www.54tianzhisheng.cn/2019/03/25/Flink-code-taskmanager/>

13、Flink 源碼解析 —— JobManager 處理 SubmitJob 的過程
<http://www.54tianzhisheng.cn/2019/03/27/Flink-code-JobManager-submitJob/>

14、Flink 源碼解析 —— TaskManager 處理 SubmitJob 的過程
<http://www.54tianzhisheng.cn/2019/03/28/Flink-code-TaskManager-submitJob/>

15、Flink 源碼解析 —— 深度解析 Flink Checkpoint 機(jī)制
<http://www.54tianzhisheng.cn/2019/03/23/Flink-code-checkpoint/>

16、Flink 源碼解析 —— 深度解析 Flink 序列化機(jī)制
<http://www.54tianzhisheng.cn/2019/03/22/Flink-code-serialize/>

17、Flink 源碼解析 —— 深度解析 Flink 是如何管理好內(nèi)存的？
<http://www.54tianzhisheng.cn/2019/03/24/Flink-code-memory-management/>

18、Flink Metrics 源碼解析 —— Flink-metrics-core
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

19、Flink Metrics 源碼解析 —— Flink-metrics-datadog
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

20、Flink Metrics 源碼解析 —— Flink-metrics-dropwizard
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

21、Flink Metrics 源碼解析 —— Flink-metrics-graphite
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

22、Flink Metrics 源碼解析 —— Flink-metrics-influxdb
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

23、Flink Metrics 源碼解析 —— Flink-metrics-jmx
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

24、Flink Metrics 源碼解析 —— Flink-metrics-slf4j
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

25、Flink Metrics 源碼解析 —— Flink-metrics-statsd
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>

26、Flink Metrics 源碼解析 —— Flink-metrics-prometheus
<http://www.54tianzhisheng.cn/2019/07/02/Flink-code-metrics/>



26、Flink Annotations 源碼解析
<http://www.54tianzhisheng.cn/2019/07/03/Flink-code-Annotations/>



27、Flink 源碼解析 —— 如何獲取 ExecutionGraph ？
<http://www.54tianzhisheng.cn/2019/03/26/Flink-code-ExecutionGraph/>

28、大數(shù)據(jù)重磅炸彈——實(shí)時(shí)計(jì)算框架 Flink <https://t.zsxq.com/UvrRNJM>

29、Flink Checkpoint-輕量級(jí)分布式快照 <https://t.zsxq.com/QVFqjea>

30、Flink Clients 源碼解析
<http://www.54tianzhisheng.cn/2019/07/04/Flink-code-clients/>

• ? 上一篇：如果有人問你 Dubbo 中注冊(cè)中心工作原理，就把這篇文章給他
• ? 下一篇：28歲，轉(zhuǎn)行學(xué) IT 靠譜嗎？