?2016-2026 Matools All rights reserved,
粵ICP備17059708號(hào)
首先我們來看如何標(biāo)識(shí)一個(gè)TCP連接？系統(tǒng)是通過一個(gè)四元組來識(shí)別，(src_ip,src_port,dst_ip,dst_port)即源IP、源端口、目標(biāo)IP、目標(biāo)端口。比如我們有一臺(tái)服務(wù)192.168.0.1，開啟端口80.那么所有的客戶端都會(huì)連接到這臺(tái)服務(wù)的80端口上面。有一種誤解，就是我們常說一臺(tái)機(jī)器有65536個(gè)端口，那么承載的連接數(shù)就是65536個(gè)，這個(gè)說法是極其錯(cuò)誤的，這就混淆了源端口和訪問目標(biāo)端口。我們做壓測的時(shí)候，利用壓測客戶端，這個(gè)客戶端的連接數(shù)是受到端口數(shù)的限制，但是服務(wù)器上面的連接數(shù)可以達(dá)到成千上萬個(gè)，一般可以達(dá)到百萬（4C8G配置），至于上限是多少，需要看優(yōu)化的程度。具體做法如下：
我們?cè)趬簻y一臺(tái)目標(biāo)服務(wù)器，想看下負(fù)載的連接數(shù)，當(dāng)我們壓到一定數(shù)量的時(shí)候，控制臺(tái)突然報(bào)"too many open
files"，這是因?yàn)閘inux系統(tǒng)創(chuàng)建一個(gè)TCP連接的時(shí)候，都會(huì)創(chuàng)建一個(gè)socket句柄，每個(gè)socket句柄就是一個(gè)文件句柄。操作系統(tǒng)對(duì)打開的文件句柄數(shù)量是有限制的。Unix/Linux
基本哲學(xué)之一就是 "一切皆文件"，要提高TCP承載量，就需要調(diào)整文件句柄。
第一步：修改文件句柄數(shù)量限制
# 查看當(dāng)前用戶允許TCP打開的文件句柄最大數(shù) ulimit -n # 修改文件句柄 vim /etc/security/limits.conf *
soft nofile 655350 * hard nofile 655350
修改后，退出終端窗口，重新登錄(不需要重啟服務(wù)器)，就能看到最新的結(jié)果了。這是優(yōu)化的第一步，修改文件句柄限制。
注意：
soft nofile （軟限制）是指Linux在當(dāng)前系統(tǒng)能夠承受的范圍內(nèi)進(jìn)一步限制用戶同時(shí)打開的文件數(shù)
hard nofile （硬限制）是根據(jù)系統(tǒng)硬件資源狀況(主要是系統(tǒng)內(nèi)存)計(jì)算出來的系統(tǒng)最多可同時(shí)打開的文件數(shù)量
通常軟限制小于或等于硬限制
第二步：TCP參數(shù)調(diào)優(yōu)
參數(shù) 默認(rèn)配置 調(diào)整配置 說明
fs.file-max 1048576 9999999 所有進(jìn)程打開的文件描述符數(shù)
fs.nr_open 1635590 1635590 單個(gè)進(jìn)程可分配的最大文件數(shù)
net.core.rmem_default 124928 262144 默認(rèn)的TCP讀取緩沖區(qū)
net.core.wmem_default 124928 262144 默認(rèn)的TCP發(fā)送緩沖區(qū)
net.core.rmem_max 124928 8388608 默認(rèn)的TCP最大讀取緩沖區(qū)
net.core.wmem_max 124928 8388608 默認(rèn)的TCP最大發(fā)送緩沖區(qū)
net.ipv4.tcp_wmem 4096 16384 4194304 4096 16384 8388608 TCP發(fā)送緩沖區(qū)
net.ipv4.tcp_rmem 4096 87380 4194304 4096 87380 8388608 TCP讀取緩沖區(qū)
net.ipv4.tcp_mem 384657 512877 769314 384657 512877 3057792 TCP內(nèi)存大小
net.core.netdev_max_backlog 1000 5000
在每個(gè)網(wǎng)絡(luò)接口接收數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時(shí)，允許送到隊(duì)列的數(shù)據(jù)包的最大數(shù)目
net.core.optmem_max 20480 81920 每個(gè)套接字所允許的最大緩沖區(qū)的大小
net.core.somaxconn 128 2048 每一個(gè)端口最大的監(jiān)聽隊(duì)列的長度，這是個(gè)全局的參數(shù)
net.ipv4.tcp_fin_timeout 60 30
對(duì)于本端斷開的socket連接，TCP保持在FIN-WAIT-2狀態(tài)的時(shí)間（秒）。對(duì)方可能會(huì)斷開連接或一直不結(jié)束連接或不可預(yù)料的進(jìn)程死亡
net.core.netdev_max_backlog 1000 10000
在每個(gè)網(wǎng)絡(luò)接口接收數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時(shí)，允許送到隊(duì)列的數(shù)據(jù)包的最大數(shù)目
net.ipv4.tcp_max_syn_backlog 1024 2048
對(duì)于還未獲得對(duì)方確認(rèn)的連接請(qǐng)求，可保存在隊(duì)列中的最大數(shù)目。如果服務(wù)器經(jīng)常出現(xiàn)過載，可以嘗試增加這個(gè)數(shù)字
net.ipv4.tcp_max_tw_buckets 5000 5000 系統(tǒng)在同時(shí)所處理的最大timewait sockets數(shù)目
net.ipv4.tcp_tw_reuse 0 1 是否允許將TIME-WAIT sockets重新用于新的TCP連接
net.ipv4.tcp_keepalive_time 7200 900 表示TCP鏈接在多少秒之后沒有數(shù)據(jù)報(bào)文傳輸時(shí)啟動(dòng)探測報(bào)文（發(fā)送空的報(bào)文）
net.ipv4.tcp_keepalive_intvl 75 30 表示前一個(gè)探測報(bào)文和后一個(gè)探測報(bào)文之間的時(shí)間間隔
net.ipv4.tcp_keepalive_probes 9 3 表示探測的次數(shù)
從上面的配置參數(shù)中我們可以知道，在Linux內(nèi)核中為tcp發(fā)送和接收都做了緩沖隊(duì)列，這樣可以提高系統(tǒng)的吞吐量。
以上這些參數(shù)都是在 /etc/sysctl.conf
文件中定義的，有的參數(shù)在文件中可能沒有定義，系統(tǒng)給定了默認(rèn)值，需要修改的話，直接在文件中添加或修改，然后執(zhí)行sysctl -p命令讓其生效。
注意：
參數(shù)值并不是設(shè)置的越大越好，有的需要考慮服務(wù)器的硬件配置，參數(shù)對(duì)服務(wù)器上其它服務(wù)的影響等。
熱門工具 換一換