使用 Kafka + Spark Streaming + Cassandra 構(gòu)建數(shù)據(jù)實(shí)時(shí)處理引擎

Apache Kafka 是一個(gè)可擴(kuò)展，高性能，低延遲的平臺(tái)，允許我們像消息系統(tǒng)一樣讀取和寫(xiě)入數(shù)據(jù)。我們可以很容易地在 Java 中使用 Kafka。

Spark Streaming 是 Apache Spark 的一部分，是一個(gè)可擴(kuò)展、高吞吐、容錯(cuò)的實(shí)時(shí)流處理引擎。雖然是使用 Scala 開(kāi)發(fā)的，但是支持
Java API。

Apache Cassandra 是分布式的 NoSQL 數(shù)據(jù)庫(kù)。
在這篇文章中，我們將介紹如何通過(guò)這三個(gè)組件構(gòu)建一個(gè)高擴(kuò)展、容錯(cuò)的實(shí)時(shí)數(shù)據(jù)處理平臺(tái)。

準(zhǔn)備

在進(jìn)行下面文章介紹之前，我們需要先創(chuàng)建好 Kafka 的主題以及 Cassandra 的相關(guān)表，具體如下：

在 Kafka 中創(chuàng)建名為 messages 的主題
$KAFKA_HOME$\bin\windows\kafka-topics.bat --create \

• ? 上一篇：Redis的那些最常見(jiàn)面試問(wèn)題(轉(zhuǎn))
• ? 下一篇： 高德全鏈路壓測(cè)平臺(tái)TestPG的架構(gòu)與實(shí)踐