說(shuō)說(shuō)我們?cè)趺慈プ鲂阅軆?yōu)化？

開(kāi)篇語(yǔ)

最近12306又崩潰了一次，但其實(shí)12306這樣的體量跟我們平常接觸的架構(gòu)基本沒(méi)什么太大的關(guān)系。

話又說(shuō)回來(lái)，12306也是由一個(gè)個(gè)小功能組成的。

做好自己的小螞蟻，就能讓大部隊(duì)變得更快。

因?yàn)楦鷶?shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、查詢打交道比較多，所以我就簡(jiǎn)單說(shuō)一下數(shù)據(jù)查詢的優(yōu)化過(guò)程吧。

不客氣地說(shuō)，在性能優(yōu)化中，其實(shí)80%的問(wèn)題都是源于數(shù)據(jù)查詢。

以下步驟是以優(yōu)化代價(jià)、數(shù)據(jù)量級(jí)為衡量，從低到高開(kāi)始，步步進(jìn)推。

GO

（1）如果數(shù)據(jù)查詢緩慢，80%的原因都是因?yàn)镾QL。先找出慢SQL，以O(shè)racle為例，可以通過(guò)AWR報(bào)表的方式查看。

（2）查看慢SQL的執(zhí)行計(jì)劃，看看查詢的關(guān)鍵字段是不是缺失索引，添加索引。


（3）有索引，但是查看執(zhí)行計(jì)劃，并沒(méi)有走索引。此時(shí)有兩種方法，一是用hint，二是可能數(shù)據(jù)表最近被大批量的刪除、新增過(guò)，需要手動(dòng)收集數(shù)據(jù)表的統(tǒng)計(jì)信息，讓SQL優(yōu)化器正常解析SQL。

（4）數(shù)據(jù)表太大，沒(méi)有合適的全局索引?？刹豢梢越ㄔO(shè)分區(qū)表？按照時(shí)間、地區(qū)進(jìn)行分區(qū)操作。

（5）不能分區(qū)，或者分區(qū)效果也不顯著，需要考慮改動(dòng)表結(jié)構(gòu)了，有些字段是不是可以拆出去？做成維表、擴(kuò)展表？

【這是垂直拆分。缺點(diǎn)是查詢時(shí)如果要查詢擴(kuò)展表字段，需要join操作，插入修改時(shí)要考慮多表，事物復(fù)雜。單表數(shù)據(jù)量還是太大?！?br>
（6）或者可以考慮進(jìn)行分庫(kù)分表操作。對(duì)于Oracle來(lái)說(shuō)單張1億以下數(shù)據(jù)分區(qū)就夠了，不需要分庫(kù)分表。

【水平拆分。缺點(diǎn)是會(huì)導(dǎo)致事物一致性更為復(fù)雜，還需引入分庫(kù)分表的管理中間件?！?br>
（7）進(jìn)行歷史數(shù)據(jù)分離。將一些不常用的數(shù)據(jù)，例如兩年前的數(shù)據(jù)都拆分到歷史表中。

【即冷熱數(shù)據(jù)分離?！?br>
（8）讀寫(xiě)分離，再新建個(gè)數(shù)據(jù)查詢庫(kù)，oracle用OGG、mysql用binlog做數(shù)據(jù)同步，將查詢模塊更換數(shù)據(jù)源。

（9）增加數(shù)據(jù)庫(kù)的服務(wù)器性能，升級(jí)硬件，例如磁盤(pán)換上SSD。這個(gè)方法是被驗(yàn)證過(guò)了的，尤其是查詢批量數(shù)據(jù)、無(wú)高效索引的時(shí)候。

（10）從數(shù)據(jù)庫(kù)層面已經(jīng)無(wú)法優(yōu)化了，我們可以考慮在應(yīng)用端使用并行查詢的方法爬出數(shù)據(jù)，然后再行合并。

【事實(shí)上，很多報(bào)表工具都是這么做的?！?br>
（11）并行查詢?cè)俑叨它c(diǎn)，用流行的話來(lái)說(shuō)，叫分布式計(jì)算。

【12306就是用Pivotal的 GemFire，將單次查詢的最長(zhǎng)時(shí)間從15秒下降到0.2秒以下?！?br>
（12）這個(gè)數(shù)據(jù)庫(kù)性能就是達(dá)到瓶頸了，我們來(lái)更換數(shù)據(jù)庫(kù)吧，換成性能更好的數(shù)據(jù)庫(kù)，要做數(shù)據(jù)遷移，重新測(cè)試驗(yàn)證，代價(jià)不菲。

（13）從業(yè)務(wù)上去優(yōu)化，看看這樣查詢是不是有道理，這些字段是不是確實(shí)需要？需不需要這么精細(xì)？需不需要這么頻繁？

大數(shù)據(jù)量報(bào)表每月一出就行了？那這樣就無(wú)所謂時(shí)效性了。嗯，那我們來(lái)做數(shù)據(jù)倉(cāng)庫(kù)吧。

（14）我們用了Hadoop + RDBMS做了數(shù)據(jù)倉(cāng)庫(kù)。

數(shù)據(jù)倉(cāng)庫(kù)不能實(shí)時(shí)查詢?cè)趺崔k？我們來(lái)做實(shí)時(shí)倉(cāng)庫(kù)吧。

（15）我們用了kafka + spark + jstorm做了實(shí)時(shí)倉(cāng)庫(kù)，結(jié)果你跟我說(shuō)過(guò)時(shí)了？剛剛升級(jí)成了Spark Streaming
？嗯？又換成Flink了？

好吧，愛(ài)咋咋地。

結(jié)語(yǔ)

說(shuō)到這里沒(méi)啥可說(shuō)的了，或者以后想起來(lái)什么還可以再說(shuō)說(shuō)吧。

性能優(yōu)化其實(shí)是一個(gè)持續(xù)迭代的過(guò)程，并非一蹴而就，也不是一步到位的工作。

有時(shí)候有很多方案，關(guān)鍵是看怎樣代價(jià)最小。（改造成本、硬件成本、緊急狀況）

每個(gè)人，還是先從寫(xiě)好一個(gè)SQL，一段代碼開(kāi)始吧。

撒花，結(jié)束。

END.

• ? 上一篇：拿 C# 搞函數(shù)式編程 - 2
• ? 下一篇： 棄 Windows 而擁抱 Linux 之后，這本書(shū)教了新玩法