nginx过滤模块(nginx waf 过滤规则)

nginx waf 过滤规则

Nginx 跟 Haproxy 其实他们两个的定位是有所不同的，Nginx的定位是一个server，Haproxy的定位是一个load balancer。

Nginx通过各种plugin module可以支持Load balance的功能，而且性能不弱于haproxy太多，所以总有人拿来将两个东西比较。其实Apache也可以通过相关模块做load balancer，只不过性能差得多而已所以没人用而已。当然了Nginx的LB功能现在是其支柱主打功能而已。

看到有很多答案对于haproxy多进程有误解，这里特别说下，haproxy早就支持多进程模型，但是并不是Nginx的Worker Master结构，而是平等多进程结构，同时也支持REUSE PORT选项，所以在这里Nginx跟Haproxy对于多核利用上都是一样的并没有本质区别。

haproxy从1.8之后，添加了多线程的模式，现在它更推荐的也是这个模型，在一些平台上能够更好的利用多核。而Nginx从来没有多线程模型。而且看起来社区也没打算支持。

Nginx其实基于server的功能来说，是Haproxy不具备的，让Haproxy像一个普通Web server那样回复一个普通的HTTP请求是很难的，不大规模修改源码根本做不到。Haproxy是围绕转发模型设计的，整个流程就是围绕如何快速把一个请求或者回复转发到另一端。并不是像Server一样接受请求然后回复。

但是Nginx作为一个纯粹的LB来说，尤其是针对Web LoadBalancer来说，功能没有haproxy那么细致。Haproxy支持的ACL对象非常广泛，很多情况并不需要脚本辅助就可以完成复杂的功能，而Nginx稍微复杂的LoadBalance功能都需要使用脚本才能完成，这样性能就会差很多。

从功能角度上来讲，Nginx其实功能比Haproxy要多（当然并不都是免费的），因为他的开发社区和定位方向都比Haproxy要大和宽泛。在Nginx上面的各种解决方案也要多的多。比如WAF，haproxy一致都没有比较好的原生解决方案。还有包括最近针对Service Mesh的支持，haproxy都是很难跟得上。

但是基础功能，包括HTTP2，TLS 1.3，Script， SSL/TLS offload，ocsp，SNI preload，其实haproxy最新版本早就已经支持，甚至比Nginx还更早些（HTTP2比较晚，但是现在也支持了）。另外，关于硬件SSL offload支持其实主要是OpenSSL的engine的支持，所以这个大家都差不多，只要兼容最新OpenSSL都没什么问题。

Haproxy的优点其实是转发性能稍高，因为haproxy追求zero copy的forward流程，所以代码都倾向于优化在这一点上。但是这个优势现在被广泛的TLS/SSL应用抹平了，对比0 copy节省的时间来说加解密的消耗的性能占绝大多数，所以haproxy基本上在现在的广泛SSL环境下没有什么优势了。除非你想用纯HTTP，而且还想使用比较复杂的基于HTTP头部的Load Balance功能，那么Haproxy是个好选择，否则只是单纯LB的话，LVS性能其实更更高，毕竟人家在Kernel里面。

从代码层面来说，Nginx的结构化代码和模块化都比Haproxy好太多。Haproxy代码模块化一直是个大问题，内部结构模块化不足，二次开发困难，最近到1.9了才有些改善，但是仍然有很多内部trick的hack和让人发懵的FLAG。相比Nginx做到的彻底的模块化，可以轻易的通过开发自己的模块来改变或者实现相关功能，这个haproxy是不具备的。

从开发社区来说，Nginx也比Haproxy好太多，Haproxy虽然社区历史更久，但是一直都是不愠不火，贡献者因为原作者的严格的控制，一直都很少，再加上没有module开发功能，所以吸引的开发者一直都不多。带来的问题就是版本更新慢，支持的新功能慢。HTTP2的开发完全靠原作者一个人，所以支持进度严重拖后。

这篇文章看起来好像是变成了对haproxy吐槽，但是因为在工作中接触这两个东西实在太多，而且是进行深度二次开发，所以自认为还是有一定的了解的。从目前来看，如果haproxy不能更开放招募更多的贡献者，不能彻底修改架构支持module开发，是无法比拟NGINX的。

另外Haproxy优势一点的就是免费版的功能比Nginx免费版的更实惠。对于小又穷的站点的确是个好处。

nginx过滤重复请求

不可以。服务器名不可重复

nginx过滤header

获取url参数

在 ngx_lua 中访问 Nginx 内置变量 ngx.var.arg_PARAMETER 即可获得GET参数PARAMETER的内容。

在 nginx配置中，通过$arg_PARAMETER 即可获得GET参数PARAMETER的内容。

获取请求头

在 ngx_lua 中访问 Nginx 内置变量 ngx.var.http_HEADER 即可获得请求头HEADER的内容。

在 nginx配置中，通过$http_HEADER 即可获得请求头HEADER的内容。

通过以下方式进行验证，比如说，通过 http://www.test.com?name=hello&id=123 来验证url的请求参数，能够在nginx中获取到，只需要修改nginx.conf 配置文件如下,就可以在access.log中看到id和name在log中

http {

include mime.types;

default_type application/octet-stream;

log_format main '{ "@timestamp": "$time_iso8601", '

'"servername": "$http_host", '

'"id": "$arg_id",'

'"name": "$arg_name",'

'"remote_addr": "$remote_addr",'

'"referer": "$http_referer",'

'"request": "$request",'

'"request_time": "$request_time",'

'"status": $status,'

'"bytes":$body_bytes_sent,'

'"agent": "$http_user_agent",'

'"x_forwarded": "$http_x_forwarded_for",'

'"upstr_addr": "$upstream_addr",'

'"upstr_host": "$upstream_http_host",'

'"ups_resp_time": "$upstream_response_time" }';

access_log logs/access.log main;

server_names_hash_bucket_size 128;

nginx过滤静态资源

区别有以下几点：

1、二者最核心的区别在于apache是同步多进程模型，一个连接对应一个进程；nginx是异步的，多个连接（万级别）可以对应一个进程 。nginx处理静态文件好,耗费内存少.但无疑apache仍然是目前的主流,有很多丰富的特性.所以还需要搭配着来.当然如果能确定nginx就适合需求,那么使用nginx会是更经济的方式。

2、nginx的负载能力比apache高很多。最新的服务器也改用nginx了。而且nginx改完配置能-t测试一下配置有没 有问题。

3、apache重启的时候发现配置出错了，会很崩溃，改的时候都会非常小心翼翼现在看有好多集群站，前端nginx抗并发，后端apache集群， 配合的也不错。

4、nginx处理动态请求是鸡肋，一般动态请求要apache去做，nginx只适合静态和反向。

5、从经验来看，nginx是很不错的前端服务器，负载性能很好，nginx，用webbench模拟10000个静态文件请求毫不吃力。 apache对php等语言的支持很好，此外apache有强大的支持网络，发展时间相对nginx更久，bug少但是apache有先天不支持多核心处理负载鸡肋的缺点，建议使用nginx做前端，后端用apache。大型网站建议用nginx自代的集群功能。

6、大部分情况下nginx都优于APACHE，比如说静态文件处理、PHP-CGI的支持、反向代理功能、前端 Cache、维持连接等等。在Apache+PHP（prefork）模式下，如果PHP处理慢或者前端压力很大的情况下，很容易出现Apache进程数 飙升，从而拒绝服务的现象。

7、Apache在处理动态有优势，Nginx并发性比较好，CPU内存占用低，如果rewrite频繁，那还是Apache吧！

8、一般来说，需要性能的web 服务，用nginx 。如果不需要性能只求稳定，那就apache 吧。

以上就是我的回答，希望可以帮助题主。

nginx 过滤

Nginx有自带的健康检查参数max_fails和fail_timeout可以判断节点是否挂掉，如果挂了就自动过滤掉该节点

nginx过滤特殊字符

日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log。

nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令来定义。ngx_http_log_module是用来定义请求日志格式的。

1. access_log指令

语法: access_log path [format [buffer=size [flush=time]]];

access_log path format gzip[=level] [buffer=size] [flush=time];

access_log syslog:server=address[,parameter=value] [format];

access_log off;

默认值: access_log logs/access.log combined;

配置段: http, server, location, if in location, limit_except

gzip压缩等级。

buffer设置内存缓存区大小。

flush保存在缓存区中的最长时间。

不记录日志：access_log off;

使用默认combined格式记录日志：access_log logs/access.log 或 access_log logs/access.log combined;

2. log_format指令

语法: log_format name string …;

默认值: log_format combined “…”;

配置段: http

name表示格式名称，string表示等义的格式。log_format有一个默认的无需设置的combined日志格式，相当于apache的combined日志格式，如下所示：

log_format combined '$remote_addr - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

log_formatcombined'$remote_addr - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

如果nginx位于负载均衡器，squid，nginx反向代理之后，web服务器无法直接获取到客户端真实的IP地址了。 $remote_addr获取反向代理的IP地址。反向代理服务器在转发请求的http头信息中，可以增加X-Forwarded-For信息，用来记录 客户端IP地址和客户端请求的服务器地址。PS: 获取用户真实IP 参见http://www.ttlsa.com/html/2235.html如下所示：

log_format porxy '$http_x_forwarded_for - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

log_formatporxy'$http_x_forwarded_for - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

日志格式允许包含的变量注释如下：

$remote_addr, $http_x_forwarded_for 记录客户端IP地址

$remote_user 记录客户端用户名称

$request 记录请求的URL和HTTP协议

$status 记录请求状态

$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。

$bytes_sent 发送给客户端的总字节数。

$connection 连接的序列号。

$connection_requests 当前通过一个连接获得的请求数量。

$msec 日志写入时间。单位为秒，精度是毫秒。

$pipe 如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。

$http_referer 记录从哪个页面链接访问过来的

$http_user_agent 记录客户端浏览器相关信息

$request_length 请求的长度(包括请求行，请求头和请求正文)。

$request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。

$time_iso8601 ISO8601标准格式下的本地时间。

$time_local 通用日志格式下的本地时间。

$remote_addr,$http_x_forwarded_for记录客户端IP地址

$remote_user记录客户端用户名称

$request记录请求的URL和HTTP协议

$status记录请求状态

$body_bytes_sent发送给客户端的字节数，不包括响应头的大小；该变量与Apache模块mod_log_config里的“%B”参数兼容。

$bytes_sent发送给客户端的总字节数。

$connection连接的序列号。

$connection_requests当前通过一个连接获得的请求数量。

$msec日志写入时间。单位为秒，精度是毫秒。

$pipe如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。

$http_referer记录从哪个页面链接访问过来的

$http_user_agent记录客户端浏览器相关信息

$request_length请求的长度(包括请求行，请求头和请求正文)。

$request_time请求处理时间，单位为秒，精度毫秒；从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。

$time_iso8601ISO8601标准格式下的本地时间。

$time_local通用日志格式下的本地时间。

[warning]发送给客户端的响应头拥有“sent_http_”前缀。 比如$sent_http_content_range。[/warning]

实例如下：

http {

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" '

'"$gzip_ratio" $request_time $bytes_sent $request_length';

log_format srcache_log '$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent $request_time $bytes_sent $request_length '

'[$upstream_response_time] [$srcache_fetch_status] [$srcache_store_status] [$srcache_expire]';

open_log_file_cache max=1000 inactive=60s;

server {

server_name ~^(www\.)?(.+)$;

access_log logs/$2-access.log main;

error_log logs/$2-error.log;

location /srcache {

access_log logs/access-srcache.log srcache_log;

}

}

}

http{

log_formatmain'$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" '

'"$gzip_ratio" $request_time $bytes_sent $request_length';

log_formatsrcache_log'$remote_addr - $remote_user [$time_local] "$request" '

'"$status" $body_bytes_sent $request_time $bytes_sent $request_length '

'[$upstream_response_time] [$srcache_fetch_status] [$srcache_store_status] [$srcache_expire]';

open_log_file_cachemax=1000inactive=60s;

server{

server_name~^(www\.)?(.+)$;

access_loglogs/$2-access.logmain;

error_loglogs/$2-error.log;

location/srcache{

access_loglogs/access-srcache.logsrcache_log;

}

}

}

3. open_log_file_cache指令

语法: open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];

open_log_file_cache off;

默认值: open_log_file_cache off;

配置段: http, server, location

对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭。可以使用open_log_file_cache来设置日志文件缓存(默认是off)，格式如下：

参数注释如下：

max:设置缓存中的最大文件描述符数量，如果缓存被占满，采用LRU算法将描述符关闭。

inactive:设置存活时间，默认是10s

min_uses:设置在inactive时间段内，日志文件最少使用多少次后，该日志文件描述符记入缓存中，默认是1次

valid:设置检查频率，默认60s

off：禁用缓存

实例如下：

open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;

1

open_log_file_cachemax=1000inactive=20svalid=1mmin_uses=2;

4. log_not_found指令

语法: log_not_found on | off;

默认值: log_not_found on;

配置段: http, server, location

是否在error_log中记录不存在的错误。默认是。

5. log_subrequest指令

语法: log_subrequest on | off;

默认值: log_subrequest off;

配置段: http, server, location

是否在access_log中记录子请求的访问日志。默认不记录。

6. rewrite_log指令

由ngx_http_rewrite_module模块提供的。用来记录重写日志的。对于调试重写规则建议开启。 Nginx重写规则指南

语法: rewrite_log on | off;

默认值: rewrite_log off;

配置段: http, server, location, if

启用时将在error log中记录notice级别的重写日志。

7. error_log指令

语法: error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice | warn | error | crit | alert | emerg];

默认值: error_log logs/error.log error;

配置段: main, http, server, location

配置错误日志。

nginx 过滤ip

1 防火墙必须关闭：三个服务器的防火墙必须关闭

systemctl stop firewalld

systemctl status firewalld

firewall-cmd --state

2 nginx所在的服务器的selinux必须关闭

3 tomcat的webapps下必须有maven_cloud4.war

4 开启所有的tomcat：

由ip:8080/maven_cloud4通过tomcat访问

5 安装完nginx 通过ip:80访问nginx的首页 看看welcome

6 配置/etc/nginx/conf.d/cloud.conf(注意名字不能是：cloud.config)

upstream cloud4{

server 192.168.198.131:8080;

server 192.168.198.134:8080;

server 192.168.198.135:8080;

}

server

{

listen 80;

server_name 192.168.198.131;

location /mc4{

proxy_pass http://cloud4/maven_cloud4;

proxy_cookie_path /maven_cloud4 /mc4;

}

}