NGINX限流每秒请求次数(nginx限速限流)

NGINX限流每秒请求次数

一、限制访问频率（正常流量）Nginx中我们使用ngx_http_limit_req_module模块来限制请求的访问频率，基于漏桶算法原理实现。接下来我们使用 nginx limit_req_zone 和 limit_req 两个指令，限制单个IP的请求处理速率。

二、限制访问频率（突发流量）

在流量突然增大时，超出的请求将被拒绝，无法处理突发流量，那么在处理突发流量的时候，该怎么处理呢？Nginx提供了 burst 参数来解决突发流量的问题，并结合 nodelay 参数一起使用。burst 译为突发、爆发，表示在超过设定的处理速率后能额外处理的请求数。…

nginx限速限流

在我们讲的微服务架构下的API网关，一般指的是前三类使用场景。即，主要是把企业内部的API能力，暴露给其他应用或合作伙伴使用。网关层作为客户端与服务端的一层挡板，主要起到了三大类作用：

第一类作用是隔离作用，作为企业系统边界，隔离外网系统与内网系统。

第二类作用是解耦作用，通过解耦，使得微服务系统的各方能够独立、自由、高效、灵活地调整，而不用担心给其他方面带来影响。

第三类作用是脚手架作用，提供了一个地点，方便通过扩展机制对请求进行一系列加工和处理。

二：网关的好处

（1）网关层对外部和内部进行了隔离，保障了后台服务的安全性。

（2）对外访问控制由网络层面转换成了运维层面，减少变更的流程和错误成本

（3） 减少客户端与服务的耦合，服务可以独立发展。通过网关层来做映射。

（4）通过网关层聚合，减少外部访问的频次，提升访问效率。

（5）节约后端服务开发成本，减少上线风险。

（6）为服务熔断，灰度发布，线上测试提供简单方案。

（7）便于扩展。

三：API网关需要考虑的因素

1、安全性问题

企业在把服务暴露给外部使用时，首先要确保服务使用的安全，防止外部的恶意访问对公司业务的影响，特别是涉及交易方面的服务，更是要全面考虑安全性。为确保安全，需要考虑在通讯链路的建立、通讯数据的加密、数据的完整性、不可抵赖性等方面。

2、性能问题

作为企业API的入口，所有的请求都会经过API网关进行转发，可想而知，对API网关的访问压力是巨大的，有的网站甚至达到每分钟上千万的访问量。特别是在一些互联网企业，海量的移动终端每时每刻都需要与后端的服务进行交互，如果不能保证网关的高性能，企业在网关层需要投入大量的设备和成本。曾在一家互联网公司发生过，由于网关性能问题，网关的机器数量，需要与后台服务器的数量保持同步增长。这种情况显然是企业服务忍受的。

四:API网关的功能

企业级API网关应该提供下列的功能：

API网关功能

1.服务路由：外部服务访问接口映射到对应的内部服务访问接口。

2.认证授权：提供对用户身份的认证以及用户权限验证，包括用户身份的合法性、针对用户角色的访问授权验证、针对用户的访问授权验证、IP 黑名单验证等。

3.超时处理：当 API 网关调用的内部服务响应时间超过了在自主开发的 API 网关后台管理子系统中所设置的允许最长的超时时间时，API 网关会立即停止调用，并返回相关消息给你。

4.限流控制：当你通过 API 网关调用内部服务的频率达到在某个阈值时，API 网关会立即做断开链路处理。过了时间后，链路会自动闭合回去。

5.熔断处理：熔断处理对避免无谓的资源消耗特别有用，当通过 API 网关调用的内部服务出现异常的频率达到某个阈值时，那么 API 网关会做临时熔断处理即临时断开链路，暂时停止你对那个内部服务的调用。临时熔断后，过了一段时间后，链路会自动闭合回去。

6.日志信息记录：会记录客户 IP、客户请求参数、返回结果、异常信息等信息。

7.负载均衡： 提供API接口的负载均衡，能够处理API接口的高并发访问，防止服务雪崩。

8.安全防护：提供严格的认证服务，支持算法签名，用户使用 API 网关提供的密钥进行认证，没有被授予密钥的客户端无法调用业务 API接口，经过认证授权的请求才能到达后端应用服务。同时SSL 加密。

9.灰度发布：支持API接口线上灰度部署，减少应用版本切换风险。

nginx 每秒请求数

日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log。

nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令来定义。ngx_http_log_module是用来定义请求日志格式的。

1. access_log指令

语法: access_log path [format [buffer=size [flush=time]]];

access_log path format gzip[=level] [buffer=size] [flush=time];

access_log syslog:server=address[,parameter=value] [format];

access_log off;

默认值: access_log logs/access.log combined;

配置段: http, server, location, if in location, limit_except

gzip压缩等级。

buffer设置内存缓存区大小。

flush保存在缓存区中的最长时间。

不记录日志：access_log off;

使用默认combined格式记录日志：access_log logs/access.log 或 access_log logs/access.log combined;

2. log_format指令

语法: log_format name string …;

默认值: log_format combined “…”;

配置段: http

name表示格式名称，string表示等义的格式。log_format有一个默认的无需设置的combined日志格式，相当于apache的combined日志格式，如下所示：

log_format combined '$remote_addr - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

log_formatcombined'$remote_addr - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

如果nginx位于负载均衡器，squid，nginx反向代理之后，web服务器无法直接获取到客户端真实的IP地址了。 $remote_addr获取反向代理的IP地址。反向代理服务器在转发请求的http头信息中，可以增加X-Forwarded-For信息，用来记录 客户端IP地址和客户端请求的服务器地址。PS: 获取用户真实IP 参见http://www.ttlsa.com/html/2235.html如下所示：

log_format porxy '$http_x_forwarded_for - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

log_formatporxy'$http_x_forwarded_for - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

日志格式允许包含的变量注释如下：

$remote_addr, $http_x_forwarded_for 记录客户端IP地址

$remote_user 记录客户端用户名称

$request 记录请求的URL和HTTP协议

$status 记录请求状态

$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。

$bytes_sent 发送给客户端的总字节数。

$connection 连接的序列号。

$connection_requests 当前通过一个连接获得的请求数量。

$msec 日志写入时间。单位为秒，精度是毫秒。

$pipe 如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。

$http_referer 记录从哪个页面链接访问过来的

$http_user_agent 记录客户端浏览器相关信息

$request_length 请求的长度(包括请求行，请求头和请求正文)。

$request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。

$time_iso8601 ISO8601标准格式下的本地时间。

$time_local 通用日志格式下的本地时间。

$remote_addr,$http_x_forwarded_for记录客户端IP地址

$remote_user记录客户端用户名称

$request记录请求的URL和HTTP协议

$status记录请求状态

$body_bytes_sent发送给客户端的字节数，不包括响应头的大小；该变量与Apache模块mod_log_config里的“%B”参数兼容。

$bytes_sent发送给客户端的总字节数。

$connection连接的序列号。

$connection_requests当前通过一个连接获得的请求数量。

$msec日志写入时间。单位为秒，精度是毫秒。

$pipe如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。

$http_referer记录从哪个页面链接访问过来的

$http_user_agent记录客户端浏览器相关信息

$request_length请求的长度(包括请求行，请求头和请求正文)。

$request_time请求处理时间，单位为秒，精度毫秒；从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。

$time_iso8601ISO8601标准格式下的本地时间。

$time_local通用日志格式下的本地时间。

[warning]发送给客户端的响应头拥有“sent_http_”前缀。 比如$sent_http_content_range。[/warning]

实例如下：

http {

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" '

'"$gzip_ratio" $request_time $bytes_sent $request_length';

log_format srcache_log '$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent $request_time $bytes_sent $request_length '

'[$upstream_response_time] [$srcache_fetch_status] [$srcache_store_status] [$srcache_expire]';

open_log_file_cache max=1000 inactive=60s;

server {

server_name ~^(www\.)?(.+)$;

access_log logs/$2-access.log main;

error_log logs/$2-error.log;

location /srcache {

access_log logs/access-srcache.log srcache_log;

}

}

}

http{

log_formatmain'$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" '

'"$gzip_ratio" $request_time $bytes_sent $request_length';

log_formatsrcache_log'$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent $request_time $bytes_sent $request_length '

'[$upstream_response_time] [$srcache_fetch_status] [$srcache_store_status] [$srcache_expire]';

open_log_file_cachemax=1000inactive=60s;

server{

server_name~^(www\.)?(.+)$;

access_loglogs/$2-access.logmain;

error_loglogs/$2-error.log;

location/srcache{

access_loglogs/access-srcache.logsrcache_log;

}

}

}

3. open_log_file_cache指令

语法: open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];

open_log_file_cache off;

默认值: open_log_file_cache off;

配置段: http, server, location

对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭。可以使用open_log_file_cache来设置日志文件缓存(默认是off)，格式如下：

参数注释如下：

max:设置缓存中的最大文件描述符数量，如果缓存被占满，采用LRU算法将描述符关闭。

inactive:设置存活时间，默认是10s

min_uses:设置在inactive时间段内，日志文件最少使用多少次后，该日志文件描述符记入缓存中，默认是1次

valid:设置检查频率，默认60s

off：禁用缓存

实例如下：

open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;

1

open_log_file_cachemax=1000inactive=20svalid=1mmin_uses=2;

4. log_not_found指令

语法: log_not_found on | off;

默认值: log_not_found on;

配置段: http, server, location

是否在error_log中记录不存在的错误。默认是。

5. log_subrequest指令

语法: log_subrequest on | off;

默认值: log_subrequest off;

配置段: http, server, location

是否在access_log中记录子请求的访问日志。默认不记录。

6. rewrite_log指令

由ngx_http_rewrite_module模块提供的。用来记录重写日志的。对于调试重写规则建议开启。 Nginx重写规则指南

语法: rewrite_log on | off;

默认值: rewrite_log off;

配置段: http, server, location, if

启用时将在error log中记录notice级别的重写日志。

7. error_log指令

语法: error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice | warn | error | crit | alert | emerg];

默认值: error_log logs/error.log error;

配置段: main, http, server, location

配置错误日志。

nginx 限流10000每秒

wg限流意思指的是你在短视频平台或者其他平台发布作品时，官方没有将用户流量向你的作品延伸，导致你的作品流量受到限制，这就叫做限流，这主要跟官方的流量运行方式有关。作为平台官方会照顾每一个作者的作品，有限的流量向指定作者分配，就会造成其他作者的作品限流。

nginx限制请求次数

1、传统三层架构(all in one项目)

传统三层架构大致可以分为表现层，业务层和持久层（数据访问层）。其中表现层负责接受请求和转发请求。业务层负责处理请求（注：事务管理，日志记录等AOP类型的操作均封装在这一层）。持久层主要负责数据库与实体之间的操作。

struts典型的mvc三层架构：模型层，视图层，控制层。

SpringMVC中的MVC指的是什么：当一个请求到达服务器时，由中央控制器DispatcherServlet（控制层）查找要访问的controller，然后controller->调用service->调用dao，之后将获取的数据返回到jsp页面（视图层）。

即：严格来说在SpringMVC中控制器是DispacterServlet,模型层是controller（即该模型层又可以看成一个MVC架构）,视图层是jsp页面。

另外，利用框架可以简化各层的开发：表现层使用SpringMVC或者struts2,持久层使用Mybatis或Hibernate，使用spring管理表现层，业务层和持久层三层之间的关系

2、集群架构(属于水平拓展)

由于传统的三层架构中存在许多问题，比如业务层中的不同模块占用系统资源相差太大，导致占用系统资源，可以使用集群解决问题。（相当于备份多个文件，多台服务器反问的是同一个项目资源，集群架构的目的也是为了系统资源的高可用性。）

在集群架构中存在一个重要的角色就是反向代理服务器，他的任务是实现负载均衡，接收用户请求，转发到目标服务器，其中反向代理服务器可以使用nginx实现（简单来说也就是一个实现负载均衡的算法）。

3、分布式架构（垂直拆分）

分布式架构特点：多个模块完成一个功能，每个模块又可以搭建集群，从而实现高可用。

4、微服务架构（垂直划分）

根据产品的业务功能模块划分服务的种类，客户端可以通过基于HTTP或者RPC的方式调用微服务，目的是为了降低所产生的性能开销。同时每个模块仍然可以搭建集群，从而实现高可用。

4.1 SOA架构

是当服务过多时，服务之间调用关系复杂混乱，不利于维护。

使用dubbo。使用rpc协议进行远程调用，直接使用socket通信。传输效率高，并且可以统计系统之间的调用关系，调用次数。（由于dubbo阿里公司已经停止更新，建议使用springcloud）。

4.2 Dobbo

如果服务与服务之间存在调用，dobbo可以通过名字去鉴别因为编码时每个模块之间都有调用关系，且该关系也被dobbo掌握。

4.3 SpringCloud

SpringCloud是一个基于 Spring Boot 实现的服务治理工具包；Spring Boot 专注于快速、方便集成的单个微服务个体；Spring Cloud 关注全局的服务治理框架。

nginx 流量限制

nginx从1.9.0开始，新增加了一个stream模块，用来实现四层协议的转发、代理或者负载均衡等。比如在内网有一个mysql服务，想暴露到公网上去使用，就可以通过nginx代理的方式通过nginx来进行内网mysql的访问。

可以通过nginx代理的端口访问到内网的mysql服务了。这也直接避免了mysql直接暴露到公网，增加些许的安全。当然，利用stream也可以实现后端服务的负载均衡。