nginx限流&健康检查-白红宇

nginx限流&健康检查

阅读量：5317 次

发布时间：2019-06-14

本文共 7435 字，大约阅读时间需要 24 分钟。

Nginx原生限流模块:

ngx_http_limit_conn_module模块

根据前端请求域名或ip生成一个key，对于每个key对应的网络连接数进行限制。

配置如下:

http模块

server模块

#http模块内http {    include       mime.types;    default_type  application/octet-stream;    log_format main '[$time_local][$msec]$status';    sendfile        on;    keepalive_timeout  65;    proxy_cache_path  /var/nginx/cache  keys_zone=one:10m  levels=1:2  inactive=6h max_size=1g;    ###限流配置    limit_conn_zone $binary_remote_addr zone=perip:10m;    limit_conn_log_level info;    limit_conn_status 503;        include conf.d/*.conf;}

#server模块内server {	listen        80;	server_name  _;	root         /opt/openresty/nginx/html;	charset utf-8;	proxy_send_timeout 60;	proxy_read_timeout 1800s;	client_max_body_size 300M ;		proxy_set_header X-Forwarded-Host $host;	proxy_set_header X-Forwarded-Server $host;	proxy_set_header Host $host:$server_port;	proxy_set_header X-Real-IP $remote_addr;	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;		    #---限流配置--#	location /limit {		limit_conn perip 2;		proxy_pass http://backend/cache;	}	    #-----------#    	error_page 404 /404.html;		location = /40x.html {	}	error_page 500 502 503 504 /50x.html;		location = /50x.html {	}}

验证:

采用ab测试:ab -n 10 -c 10 120.78.206.183/limit //并发数10个总请求数10个

nginx：access.log日志

ab测试输出:

ngx_http_limit_req_module模块

利用漏桶算法实现。对于指定key进行限流，指定速率处理

配置

验证:

#http模块内http {    include       mime.types;    default_type  application/octet-stream;    log_format main '[$time_local][$msec]$status';    sendfile        on;    keepalive_timeout  65;    proxy_cache_path  /var/nginx/cache  keys_zone=one:10m  levels=1:2  inactive=6h max_size=1g;    ###限流配置:每s处理一个请求    limit_req_zone $binary_remote_addr zone=req:10m rate=1r/s;    limit_conn_log_level info;    limit_conn_status 503;        include conf.d/*.conf; }

server {	listen        80;	server_name  _;	root         /opt/openresty/nginx/html;	charset utf-8;	proxy_send_timeout 60;	proxy_read_timeout 1800s;	client_max_body_size 300M ;		proxy_set_header X-Forwarded-Host $host;	proxy_set_header X-Forwarded-Server $host;	proxy_set_header Host $host:$server_port;	proxy_set_header X-Real-IP $remote_addr;	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;	#zone=one ：设置使用哪个配置区域来做限制，与上面limit_req_zone 里的name对应    #burst=5：设置一个大小为5的缓冲区当有大量请求（爆发）过来时，超过了访问频次限制的请求可以先放到这个缓冲区内等待，但是这个等待区里的位置只有5个，超过的请求会直接报503的错误然后返回。    #nodelay：     #   如果设置，会在瞬时提供处理(burst + rate)个请求的能力，请求超过（burst + rate）的时候就会直接返回503，永远不存在请求需要等待的情况。（这里的rate的单位是：r/s）     #   如果没有设置，则所有请求会依次等待排队	location /limit_req {		limit_req zone=req burst=3 nodelay;		proxy_pass http://backend/cache;	}		error_page 404 /404.html;		location = /40x.html {	}	error_page 500 502 503 504 /50x.html;		location = /50x.html {	}}

采用ab测试:ab -n 10 -c 10 120.78.206.183/limit_req //并发数10个总请求数10个

ab测试工具展示:

OpenResty限流模块:

lua-resty-limit-traffic:

github: https://github.com/openresty/lua-resty-limit-traffic/tree/master/lib/resty/limit

包含四个模块:

conn：限制并发数

count:给定时间窗口内通过固定数量的请求限制请求率

req：请求速率限制

traffic:可以自由组合多种限流策略

配置并发限流如下:

http {    include       mime.types;    default_type  application/octet-stream;    log_format main '[$time_local][$msec]$status';    sendfile        on;    keepalive_timeout  65;    lua_shared_dict my_limit_conn_store 100m;    limit_conn_log_level info;    limit_conn_status 503;        include conf.d/*.conf;}

server {	listen        80;	server_name  _;	root         /opt/openresty/nginx/html;	charset utf-8;	proxy_send_timeout 60;	proxy_read_timeout 1800s;	client_max_body_size 300M ;		proxy_set_header X-Forwarded-Host $host;	proxy_set_header X-Forwarded-Server $host;	proxy_set_header Host $host:$server_port;	proxy_set_header X-Real-IP $remote_addr;	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;	#限制接口总并发数	location /limit_lua_conn {		access_by_lua_block {			local limit_conn = require "resty.limit.conn"            -- 限制一个 ip 客户端最大 1 个并发请求            -- burst 设置为 0，如果超过最大的并发请求数，则直接返回503，            -- 如果此处要允许突增的并发数，可以修改 burst 的值（漏桶的桶容量）            -- 最后一个参数其实是你要预估这些并发（或者说单个请求）要处理多久，以便于对桶里面的请求应用漏桶算法			local lim, err = limit_conn.new("my_limit_conn_store",2,1,0.5)			if not lim then				ngx.log(ngx.ERR,"限流:",err)				return ngx.exit(503)			end			local key = ngx.var.binary_remote_addr			local delay, err = lim:incoming(key, true)			if not delay then				if err == "rejected" then					return ngx.exit(503)				end				ngx.log(ngx.ERR, "failed to limit req:", err)				return ngx.exit(500)			end		}		proxy_pass http://backend/cache;	}	#	error_page 404 /404.html;		location = /40x.html {	}	error_page 500 502 503 504 /50x.html;		location = /50x.html {	}}

验证结果:

ab -n 10 -c 10 120.78.206.183/limit_lua_conn

nginx日志:

ab结果:

Nginx健康检查机制

nginx默认检查机制

测试:后端两台服务器：

max_fails:定义定义可以发生错误的最大次数

fail_timeout：nginx在fail_timeout设定的时间内与后端服务器通信失败的次数超过max_fails设定的次数，则认为这个服务器不在起作用；在接下来的 fail_timeout时间内，nginx不再将请求分发给失效的server。

后端默认配置

前端请求:

请求多次，后端服务均有日志产生

120.78.206.183机器

14.116.196.138机器

停掉一台 14.116.196.138，请求正常返回:

nginx日志:

结论:

1.nginx健康检查机制为被动检查。

在fail_timeout时间内，如果服务器节点在请求max_fails次数

都不返回，在这

fail_timeout

内，请求不会向这台服务器转发，fail_timeout指定的超时时间到了，再次发起请求，就按照轮转规则，该到这台服务器还是会过去，这时候再经历

fail_timeout指定时间

，请求不会到这台服务器

Nginx第三方模块健康检查模块:

主动检查:

第三方模块:

nginx_upstream_check_module

主要配置:

upstream name{       server 192.168.0.21:80;       server 192.168.0.22:80;       check interval=3000 rise=2 fall=5 timeout=1000;}#对所有节点，每个3秒检测一次，请求2次正常则标记 realserver状态为up，如果检测 5 次都失败，则标记 realserver的状态为down，超时时间为1秒

2.openresty模块:lua-resty-upstream-healthcheck

http {         upstream backend {        server 120.78.206.183:8080;	    server 14.116.196.138:8002;    }    lua_shared_dict healthcheck 1m;    lua_socket_log_errors off;    init_worker_by_lua_block {        local hc = require "resty.upstream.healthcheck"        local ok, err = hc.spawn_checker {            shm = "healthcheck",            upstream = "tomcat",            type = "http",            #指定后端健康检查http请求接口                http_req = "GET /nginx HTTP/1.0\r\nHost: tomcat\r\n\r\n",            interval = 2000,            timeout = 5000,            fall = 3,            rise = 2,            #http请求接口返回200，302表示服务端正常            valid_statuses = {200, 302},            concurrency = 1,        }        if not ok then            ngx.log(ngx.ERR, "=======> failed to spawn health checker: ", err)            return        end    }        server {        listen      80;        server_name localhost;                location ^~ /cache {		    proxy_cache one;		    proxy_no_cache $http_soapaction;		    proxy_cache_key $request_body;		    proxy_cache_valid 200 302 10m;		    proxy_cache_methods GET POST;		    proxy_ignore_headers Cache-Control Set-Cookie;		    proxy_set_header X-Real-IP $remote_addr;        	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;		    proxy_pass http://backend/cache;	    }                location /server/status {            access_log off;            default_type text/plain;            content_by_lua_block {                local hc = require "resty.upstream.healthcheck"                ngx.say("Nginx Worker PID: ", ngx.worker.pid())                ngx.print(hc.status_page())            }        }    }}

配置2s时间间隔探测:

access.log：