結(jié)構(gòu)化大數(shù)據(jù)分析平臺(tái)設(shè)計(jì)

前言?


任何線上系統(tǒng)都離不開數(shù)據(jù)，有些數(shù)據(jù)是業(yè)務(wù)系統(tǒng)自身需要的，例如系統(tǒng)的賬號(hào)，密碼，頁(yè)面展示的內(nèi)容等。有些數(shù)據(jù)是業(yè)務(wù)系統(tǒng)或者用戶實(shí)時(shí)產(chǎn)生的，例如業(yè)務(wù)系統(tǒng)的日志，用戶瀏覽訪問的記錄，系統(tǒng)的購(gòu)買訂單，支付信息，會(huì)員的個(gè)人資料等。大多數(shù)企業(yè)對(duì)內(nèi)，對(duì)外有很多這樣的線上系統(tǒng)，這些數(shù)據(jù)是驅(qū)動(dòng)業(yè)務(wù)發(fā)展，決策和創(chuàng)新最核心的東西。讓這些數(shù)據(jù)更好的支撐線上系統(tǒng)的是數(shù)據(jù)庫(kù)和數(shù)據(jù)分析平臺(tái)。

數(shù)據(jù)庫(kù)主要承擔(dān)的是線上系統(tǒng)的實(shí)時(shí)數(shù)據(jù)寫入和根據(jù)預(yù)定好的需求進(jìn)行查詢，嚴(yán)格說就是數(shù)據(jù)庫(kù)中的OLTP類型數(shù)據(jù)庫(kù)。這類數(shù)據(jù)庫(kù)中最為大家所熟知的就是Oracle和MySQL。業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)庫(kù)的要求可能是多樣的，近些年也由傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)融入了NoSQL數(shù)據(jù)庫(kù)和NewSQL。業(yè)務(wù)系統(tǒng)中除了和業(yè)務(wù)直接相關(guān)的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中并累積起來外，還有海量的系統(tǒng)監(jiān)控?cái)?shù)據(jù)，系統(tǒng)業(yè)務(wù)日志產(chǎn)生。

• ? 上一篇： Istio從懵圈到熟練 – 二分之一活的微服務(wù)
• ? 下一篇： 開發(fā)函數(shù)計(jì)算的正確姿勢(shì) —— 使用 Fun Local 本地運(yùn)行與調(diào)試