基于Spark Streaming 進行 MySQL Binlog 日志準實時傳輸

基本架構(gòu)

RDS -> SLS -> Spark Streaming -> Spark HDFS

上述鏈路主要包含3個過程：

* 如何把 RDS 的 binlog 收集到 SLS。
* 如何通過 Spark Streaming 將 SLS 中的日志讀取出來，進行分析。
* 如何把鏈路 2 中讀取和處理過的日志，保存到 Spark HDFS中。
環(huán)境準備

* 安裝一個 MySQL 類型的數(shù)據(jù)庫（使用 MySQL 協(xié)議，例如 RDS、DRDS 等)，開啟 log-bin 功能，且配置 binlog 類型為
ROW 模式（RDS默認開啟）。
* 開通 SLS 服務(wù)。
操作步驟

*
檢查 MySQL 數(shù)據(jù)庫環(huán)境。

* 查看是否開啟 log-bin 功能。mysql> show variables like "log_bin"; +---------------+-

• ? 上一篇： MySQL遷移到Cassandra
• ? 下一篇： 您的四月份前端補給包已到，請查收～