最近基于开源的高性能网络库 muduo/libhv ,分别搭建一个简单的 HTTP 服务器,就一个接口/get ,然后返回 hello world. HTTP 服务器单独部署在 8 核的 ubuntu 机器上,代码中开了 8 个工作线程。
在另一台 12 核的 ubuntu 机器上用 wrk 对 HTTP 服务器进行压测。两台机器都分别用ulimit -n 65536
开启了最大的连接数。
HTTP 服务器还做了一些内核参数的优化,在/etc/sysctl.conf 里面加入了如下内容:
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_wmem = 8192 436600 873200
net.ipv4.tcp_rmem = 32768 436600 873200
net.ipv4.tcp_mem = 94500000 91500000 92700000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_fin_timeout = 30
`alex@alex-System-Product-Name:~/code/wrk$ wrk -t12 -c1000 -d100s
12 threads and 1000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 41.01ms 37.09ms 542.37ms 88.01%
Req/Sec 2.38k 1.11k 8.33k 62.50%
2838582 requests in 1.67m, 319.44MB read
Requests/sec: 28358.09
Transfer/sec: 3.19MB
alex@alex-System-Product-Name:~/code/wrk$ wrk -t12 -c10000 -d100s
12 threads and 10000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 364.67ms 115.01ms 1.49s 81.21%
Req/Sec 2.04k 0.98k 7.46k 61.89%
2430692 requests in 1.67m, 273.53MB read
Socket errors: connect 0, read 0, write 0, timeout 93
Requests/sec: 24292.02
Transfer/sec: 2.73MB
alex@alex-System-Product-Name:~/code/wrk$ wrk -t36 -c50000 -d60s
36 threads and 50000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 910.52ms 276.46ms 2.00s 83.81%
Req/Sec 836.26 0.90k 13.56k 86.67%
1489770 requests in 1.00m, 167.65MB read
Socket errors: connect 21740, read 0, write 0, timeout 16523
Requests/sec: 24790.08
Transfer/sec: 2.79MB
`
worker_processes auto; worker_rlimit_nofile 30000; events { worker_connections 10240; }
1
lsk569937453 208 天前
1.换压测工具试试,https://github.com/rakyll/hey
2.或者可以换 echo-server,https://github.com/lsk569937453/echo-server 。我的这个 echo-server ,4core 8g 的机器压测结果如下: hey -n 1000000 -c 1000 http://backend:8080 Summary: Total: 4.2522 secs Slowest: 0.2671 secs Fastest: 0.0000 secs Average: 0.0041 secs Requests/sec: 235174.6871 Total data: 1000000 bytes Size/request: 1 bytes 3.让我猜测的话,我更倾向于压测机器(wrk 执行命令的机器)的性能达到了瓶颈。 |
2
goforwardv2 OP @lsk569937453 多谢,我试下
|
3
shakeyo 208 天前
1 是因为服务端线程太少客户端连接数太多,很多都耗在连接跟响应等待了
2 应该是跟 muduo/libhv 的模型有关,也跟你 8 个线程数设定有关,加大线程池肯定可以提高 3nginx 作为代理,等于多了一次连接,这都需要时间 菜鸡的浅薄理解,蹲一个大佬 |
4
lsk569937453 208 天前
@lsk569937453 压测的时候还有一个问题是不可忽视的,就是网络延迟。最好看一下两台机器的网络延迟是多少。高性能的 echo-server 的 TPS 不会很低的。
你在压测的机器前面加了一层 Nginx 的转发,QPS 变低是必然的,Nginx 至少降低 10%的性能。Nginx 的作用是负载均衡。请求在经过 Nginx 的时候,Nginx 需要解析请求的 header 并且中间多了一层网络转发。 |
5
ppking 208 天前
cpu 上不去,说明瓶颈在 IO 呗
|
6
sagaxu 208 天前
高并发请求和高并发连接数是不同的概念,nginx 能解决高并发连接数,对单服务器的高并发请求没有任何帮助。
|
7
yzongyue 208 天前
试试 nginx 后面挂 8 个 http server , 每个 server 只起一个工作线程,这样 cpu 能不能上去
|
8
F7TsdQL45E0jmoiG 208 天前
I/O 密集型
|
9
goforwardv2 OP |
10
F7TsdQL45E0jmoiG 208 天前
@goforwardv2 类似服务器跑 nginx ,极简 http get ,极限 qps 大概 8-10w qps 。有必要自己搭 http 服务吗?另外,增大内存有助于提高 qps
|
11
goforwardv2 OP @morenacl 不是为了搭建 http 服务器用,纯纯是为了
1. 验证几个网络库的性能(其实主要的使用场景是 TCP 长连接,但压测 TCP 比较麻烦) 2. 看下在确定网络库的情况下,调整哪些系统的网络参数,可以让机器承载更多的高并发 3. 看下固定配置的机器到底能抗住多少量级的高并发 我那个极简的 HTTP Server ,高并发跑起来,内存占用都不到 1%,然后没有任何的磁盘 IO 操作,网卡性能和带宽也可以。 |
12
ppking 208 天前
把工作线程数开多点啊,你都说了平均到单核 30%多的 cpu 使用率,说明大部分时间在等 io 呗。
|
13
ppking 208 天前
你 cpu 使用率上不去,是用%u+%s 合在一起只有 30%多嘛? cpu 的大部分时间片在等 IO ,那你就多开点线程呗,交给操作系统去调度,8 核的服务器不意味着就开 8 个工作线程。
|