大數(shù)據(jù)學習路線，0基礎小白怎么學習大數(shù)據(jù)？

一、大數(shù)據(jù)技術(shù)基礎

1、linux操作基礎

· linux系統(tǒng)簡介與安裝

· linux常用命令–文件操作

· linux常用命令–用戶管理與權(quán)限

· linux常用命令–系統(tǒng)管理

· linux常用命令–免密登陸配置與網(wǎng)絡管理

· linux上常用軟件安裝

· linux本地yum源配置及yum軟件安裝

· linux防火墻配置

· linux高級文本處理命令cut、sed、awk

· linux定時任務crontab
大數(shù)據(jù)學習扣qun74零零加【41三八yi】
2、shell編程

· shell編程–基本語法

· shell編程–流程控制

· shell編程–函數(shù)

· shell編程–綜合案例–自動化部署腳本

3、內(nèi)存數(shù)據(jù)庫redis

· redis和nosql簡介

· redis客戶端連接

· redis的string類型數(shù)據(jù)結(jié)構(gòu)操作及應用-對象緩存

· redis的list類型數(shù)據(jù)結(jié)構(gòu)操作及應用案例-任務調(diào)度隊列

· redis的hash及set數(shù)據(jù)結(jié)構(gòu)操作及應用案例-購物車

· redis的sortedset數(shù)據(jù)結(jié)構(gòu)操作及應用案例-排行榜

4、布式協(xié)調(diào)服務zookeeper

· zookeeper簡介及應用場景

· zookeeper集群安裝部署

· zookeeper的數(shù)據(jù)節(jié)點與命令行操作

· zookeeper的java客戶端基本操作及事件監(jiān)聽

· zookeeper核心機制及數(shù)據(jù)節(jié)點

· zookeeper應用案例–分布式共享資源鎖

· zookeeper應用案例–服務器上下線動態(tài)感知

· zookeeper的數(shù)據(jù)一致性原理及l(fā)eader選舉機制

5、java高級特性增強

· Java多線程基本知識

· Java同步關(guān)鍵詞詳解

· java并發(fā)包線程池及在開源軟件中的應用

· Java并發(fā)包消息隊里及在開源軟件中的應用

· Java JMS技術(shù)

· Java動態(tài)代理反射

6、輕量級RPC框架開發(fā)

· RPC原理學習

· Nio原理學習

· Netty常用API學習

· 輕量級RPC框架需求分析及原理分析

· 輕量級RPC框架開發(fā)

二、離線計算系統(tǒng)

1、hadoop快速入門

· hadoop背景介紹

· 分布式系統(tǒng)概述

· 離線數(shù)據(jù)分析流程介紹

· 集群搭建

· 集群使用初步

2、HDFS增強

· HDFS的概念和特性

· HDFS的shell(命令行客戶端)操作

· HDFS的工作機制

· NAMENODE的工作機制

· java的api操作

· 案例1：開發(fā)shell采集腳本

3、MAPREDUCE詳解

· 自定義hadoop的RPC框架

· Mapreduce編程規(guī)范及示例編寫

· Mapreduce程序運行模式及debug方法

· mapreduce程序運行模式的內(nèi)在機理

· mapreduce運算框架的主體工作流程

· 自定義對象的序列化方法

· MapReduce編程案例

4、MAPREDUCE增強

· Mapreduce排序

· 自定義partitioner

· Mapreduce的combiner

· mapreduce工作機制詳解

5、MAPREDUCE實戰(zhàn)

· maptask并行度機制-文件切片

· maptask并行度設置

· 倒排索引

· 共同好友

6、federation介紹和hive使用

· Hadoop的HA機制

· HA集群的安裝部署

· 集群運維測試之Datanode動態(tài)上下線

· 集群運維測試之Namenode狀態(tài)切換管理

· 集群運維測試之數(shù)據(jù)塊的balance

· HA下HDFS-API變化

· hive簡介

· hive架構(gòu)

· hive安裝部署

· hvie初使用

7、hive增強和flume介紹

· HQL-DDL基本語法

· HQL-DML基本語法

· HIVE的join

· HIVE 參數(shù)配置

· HIVE 自定義函數(shù)和Transform

· HIVE 執(zhí)行HQL的實例分析

· HIVE最佳實踐注意點

· HIVE優(yōu)化策略

· HIVE實戰(zhàn)案例

· Flume介紹

· Flume的安裝部署

· 案例：采集目錄到HDFS

· 案例：采集文件到HDFS

三、流式計算

1、Storm從入門到精通

· Storm是什么

· Storm架構(gòu)分析

· Storm架構(gòu)分析

· Storm編程模型、Tuple源碼、并發(fā)度分析

· Storm WordCount案例及常用Api分析

· Storm集群部署實戰(zhàn)

· Storm+Kafka+Redis業(yè)務指標計算

· Storm源碼下載編譯

· Strom集群啟動及源碼分析

· Storm任務提交及源碼分析

· Storm數(shù)據(jù)發(fā)送流程分析

· Storm通信機制分析

· Storm消息容錯機制及源碼分析

· Storm多stream項目分析

· 編寫自己的流式任務執(zhí)行框架

2、Storm上下游及架構(gòu)集成

· 消息隊列是什么

· Kakfa核心組件

· Kafka集群部署實戰(zhàn)及常用命令

· Kafka配置文件梳理

· Kakfa JavaApi學習

· Kafka文件存儲機制分析

· Redis基礎及單機環(huán)境部署

· Redis數(shù)據(jù)結(jié)構(gòu)及典型案例

· Flume快速入門

· Flume+Kafka+Storm+Redis整合

四、內(nèi)存計算體系Spark

1、scala編程

· scala編程介紹

· scala相關(guān)軟件安裝

· scala基礎語法

· scala方法和函數(shù)

· scala函數(shù)式編程特點

· scala數(shù)組和集合

· scala編程練習（單機版WordCount）

· scala面向?qū)ο?br>
· scala模式匹配

· actor編程介紹

· option和偏函數(shù)

· 實戰(zhàn)：actor的并發(fā)WordCount

· 柯里化

· 隱式轉(zhuǎn)換

2、AKKA與RPC

· Akka并發(fā)編程框架

· 實戰(zhàn)：RPC編程實戰(zhàn)

3、Spark快速入門

· spark介紹

· spark環(huán)境搭建

· RDD簡介

· RDD的轉(zhuǎn)換和動作

· 實戰(zhàn)：RDD綜合練習

· RDD高級算子

· 自定義Partitioner

· 實戰(zhàn)：網(wǎng)站訪問次數(shù)

· 廣播變量

· 實戰(zhàn)：根據(jù)IP計算歸屬地

· 自定義排序

· 利用JDBC RDD實現(xiàn)數(shù)據(jù)導入導出

· WorldCount執(zhí)行流程詳解

4、RDD詳解

· RDD依賴關(guān)系

· RDD緩存機制

· RDD的Checkpoint檢查點機制

· Spark任務執(zhí)行過程分析

· RDD的Stage劃分

5、Spark-Sql應用

· Spark-SQL

· Spark結(jié)合Hive

· DataFrame

· 實戰(zhàn)：Spark-SQL和DataFrame案例

6、SparkStreaming應用實戰(zhàn)

· Spark-Streaming簡介

· Spark-Streaming編程

· 實戰(zhàn)：StageFulWordCount

· Flume結(jié)合Spark Streaming

· Kafka結(jié)合Spark Streaming

· 窗口函數(shù)

· ELK技術(shù)棧介紹

· ElasticSearch安裝和使用

· Storm架構(gòu)分析

· Storm編程模型、Tuple源碼、并發(fā)度分析

· Storm WordCount案例及常用Api分析

7、Spark核心源碼解析

· Spark源碼編譯

· Spark遠程debug

· Spark任務提交行流程源碼分析

· Spark通信流程源碼分析

· SparkContext創(chuàng)建過程源碼分析

· DriverActor和ClientActor通信過程源碼分析

· Worker啟動Executor過程源碼分析

· Executor向DriverActor注冊過程源碼分析

· Executor向Driver注冊過程源碼分析

· DAGScheduler和TaskScheduler源碼分析

· Shuffle過程源碼分析

· Task執(zhí)行過程源碼分析

五、機器學習算法

1、python及numpy庫

· 機器學習簡介

· 機器學習與python

· python語言–快速入門

· python語言–數(shù)據(jù)類型詳解

· python語言–流程控制語句

· python語言–函數(shù)使用

· python語言–模塊和包

· phthon語言–面向?qū)ο?br>
· python機器學習算法庫–numpy

· 機器學習必備數(shù)學知識–概率論

2、常用算法實現(xiàn)

· knn分類算法–算法原理

· knn分類算法–代碼實現(xiàn)

· knn分類算法–手寫字識別案例

· lineage回歸分類算法–算法原理

· lineage回歸分類算法–算法實現(xiàn)及demo

· 樸素貝葉斯分類算法–算法原理

· 樸素貝葉斯分類算法–算法實現(xiàn)

· 樸素貝葉斯分類算法–垃圾郵件識別應用案例

· kmeans聚類算法–算法原理

· kmeans聚類算法–算法實現(xiàn)

· kmeans聚類算法–地理位置聚類應用

· 決策樹分類算法–算法原理

· 決策樹分類算法–算法實現(xiàn)

• ? 上一篇： WAF+SLB負載不均衡案例分享
• ? 下一篇： 再看2019大前端技術(shù)趨勢，Web OS概念正落地