nginx_流量监控(nginx 流量统计)

nginx 流量统计

当然可以。

Nginx是一款高性能的HTTP和反向代理服务器，具有内存占用小、高并发的特性。国内互联网大企业大多使用的就是Nginx，淘宝还基于Nginx开发了Tengine。

Nginx的用途：

1、反向代理

在LNMP这种架构模式下，其实就用到了反向代理。因为Nginx它默认只支持静态资源的请求，比如说PHP脚本也不是由Nginx直接解析的，而是由Nginx反向代理（通过 proxy_pass 指令）到PHP-FPM去解析的。

所以我们通常在Apache、Tomcat、IIS之前加上Nginx，由Nginx反向代理到后端服务器上。

2、负载均衡

当我们的站点访问量大时，为了缓解单一应用服务器的压力我们通常会扩容多台服务器，此时如何把流量分发给不同服务器呢？通过Nginx就可以实现负载均衡了，Nginx负载均衡策略也很多，主要有：RR（轮询）、weight（权重）、ip_hash（IP Hash）、fair（后端服务器响应时间）、url_hash（URL Hash）这几种。

3、动静分离

Nginx本身只支持静态资源的处理，借助Nginx我们可以实现动静分离，即：将静态请求交给Nginx处理，将动态请求通过转发给后端服务器。

4、Nginx扩展

通过Nginx扩展可以实现很多功能，如：

图片在线裁剪；

请求合并；

资源压缩等。

nginx 监控

Nginx负载均衡与可用性检查

在业界，一直流传这样一句话：Nginx抗并发能力强！为什么Nginx抗并发能力强？原因是使用了非阻塞、异步传输

阻塞：如apache代理tomcat时，apache开启10个进程，同时处理着10个请求，在tomcat没有返回给apache结果时，apache是不会处理用户发出的第11个请求

非阻塞：如nginx代理tomcat时，nginx开启1000个并发，同时处理着1000个请求，在tomcat没有返回给nginx结果时，nginx会依然处理后面用户发给的请求

nginx流量监控

答：可以实现视频和图文混发限流，具体实现方式如下：

1、使用限流算法：可以使用令牌桶算法或漏桶算法来实现视频和图文混发限流，这两种算法都可以控制流量速率，从而达到限流的目的。

2、使用限流工具：可以使用一些开源的限流工具，如Nginx、HAProxy等，这些工具可以控制视频和图文混发的流量，从而达到限流的目的。

3、使用限流服务：可以使用一些云服务提供商提供的限流服务，如阿里云的流量限制服务，可以根据视频和图文混发的流量大小，来设置限流的策略，从而达到限流的目的。

扩展：

限流的目的是为了防止系统被恶意攻击或者流量突然增加而导致的服务器崩溃，从而保证系统的稳定性和可用性。限流的方式有很多种，除了以上提到的限流算法、限流工具和限流服务外，还可以使用限流插件、限流代理等方式来实现限流。

nginx 流量限制

可以作为一个HTTP服务器进行网站的发布处理。

Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点开发的，公开版本1.19.6发布于2020年12月15日。

nginx流量控制

TCP 配置是 Nginx 中一个比较关键的属性，它可以控制 Nginx 传输协议。当配置 Nginx 时，需要注意以下几点：

1. Nginx 中的 tcp 配置有三个参数：接收缓冲区大小（rcvbuf）、发送缓冲区大小（sndbuf）和最后一次活动（linger）。

2. 接收缓冲区和发送缓冲区的大小的单位都是字节，且一般都要大于或等于4K，通常情况下，接收缓冲区要大于发送缓冲区。

3. linger 有三个属性，即： on（开启）、off（关闭）和 timeout（超时），当开启时，Nginx 在服务器关闭连接之前，会将发送缓冲区中的未完成数据发送出去，而 timeout 属性则可以设定超时时间，默认超时时间为0，即Nginx不会考虑超时时间。

4. 在配置 Nginx 时，要根据实际情况调整 tcp 参数，以获得最佳性能。

nginx监控网络流量

1）DNS-server不需要动

2）负载均衡：通过nginx来保证

3）只暴露一个外网ip，nginx->tomcat之间使用内网访问

4）扩容实时：nginx内部可控，随时增加web-server随时实时扩容

5）能够保证站点层的可用性：任何一台tomcat挂了，nginx可以将流量迁移到其他tomcat

nginx流量分析

网上也搜过好多方法大概是以下几种方法

1.添加防火墙；（由于价格太贵放弃了）

2.更换域名，发现被攻击后，立刻解析到其他域名上，把被攻击的域名停止解析（由于需要人工操作，且dns解析与停止不是实时的需要时间）

3.在nginx中拦截cc攻击

最终讨论方法是在nginx中拦截

下面说一下原理

由ios，android端 写一个对称加密算法且吧时间戳也加密进去；作为 user-agent 来访问 服务器的接口，然后在nginx中 去解密这个user-agent来检验这个加密字符串是否合法或者是否过期；如果是合法的则去调用php-fpm运行程序，如果不合法则直接返回403；

那么问题了来了 如何在nginx拦截cc攻击了，也就说如何在nginx中编程了，我一个php程序员肯定不会；这个时候需要引入一个lua控件；

单独安装lua插件太麻烦了，后来直接安装了 openresty 直接在openresty中 编写lua脚本，成功防御了cc攻击

nginx流量监控和限流方案

分布式系统服务保护

一、熔断

熔断一般是指依赖的外部接口出现故障的时断绝和外部接口的关系；例如你的A服务里面的一个功能依赖B服务，这时候B服务出问题了，返回的很慢。这种情况可能会因为这么一个功能而拖慢了A服务里面的所有功能，因此我们这时候就需要熔断！即当发现A要调用这B时就直接返回错误(或者返回其他默认值啊啥的)，就不去请求B了。

雪崩效应：在微服务架构中，微服务是完成一个单一的业务功能，这样做的好处是可以做到解耦，每个微服务可以独立演进。但是，一个应用可能会有多个微服务组成，微服务之间的数据交互通过远程过程调用完成。这就带来一个问题，假设微服务A调用微服务B和微服务C，微服务B和微服务C又调用其它的微服务，这就是所谓的“扇出”。如果扇出的链路上某个微服务的调用响应时间过长或者不可用，对微服务A的调用就会占用越来越多的系统资源，进而引起系统崩溃，所谓的“雪崩效应”。

熔断机制是应对雪崩效应的一种微服务链路保护机制。在微服务架构中，当扇出链路的某个微服务不可用或者响应时间太长时，会进行服务的降级，进而熔断该节点微服务的调用，快速返回错误的响应信息。当检测到该节点微服务调用响应正常后，恢复调用链路。

二、降级

降级也就是服务降级，当我们的服务器压力剧增为了保证核心功能的可用性 ，而选择性的降低一些功能的可用性，或者直接关闭该功能。这就是典型的丢车保帅了。就比如贴吧类型的网站，当服务器吃不消的时候，可以选择把发帖功能关闭，注册功能关闭，改密码，改头像这些都关了，为了确保登录和浏览帖子这种核心的功能。

熔断与降级的区别：触发原因不太一样，服务熔断一般是某个服务（下游服务）故障引起，而服务降级一般是从整体负荷考虑；

三、限流

限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务（定向到错误页或告知资源没有了）、排队或等待（比如秒杀、评论、下单）、降级（返回兜底数据或默认数据，如商品详情页库存默认有货）。

漏桶算法：漏桶算法思路是请求先进入到漏桶里，漏桶以一定的速度出水，当水流入速度过大会直接溢出，可以看出漏桶算法能强行限制数据的传输速率。

令牌桶算法：令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。相比于漏桶算法令牌桶的优点是可以改变放令牌的速度. 一旦需要提高速率,则按需提高放入桶中的令牌的速率. 一般会定时(比如100毫秒)往桶中增加一定数量的令牌, 有些变种算法则实时的计算应该增加的令牌的数量。Guava的RateLimiter就是采用该算法进行限流控制。

计数器算法：计数器算法的核心就是在规定的时间内限制请求次数；例如：对于A接口来说，我们1分钟的访问次数不能超过100个。在一开 始的时候，我们可以设置一个计数器counte=0，每当一个请求过来的时候，counter就加1，如果counter的值大于100并且该请求与第一个 请求的间隔时间还在1分钟之内，那么说明请求数过多，拒绝请求；如果该请求与第一个请求的间隔时间大于1分钟，且counter的值还在限流范围内，那么就重置 counter=0；

Semaphore限流：可以控制某个资源可被同时访问的个数，acquire()获取一个许可，如果没有就等待，而release()释放一个许可。

四、常用的web服务器

Nginx主要有两种限流方式：

按连接数限流(ngx_http_limit_conn_module)（令牌算法实现）

按请求速率限流(ngx_http_limit_req_module)（漏桶算法实现）

tomcat 通过以下三个配置参数来进行限流操作：

maxThreads（最大线程数）：每一次HTTP请求到达Web服务，tomcat都会创建一个线程来处理该请求，那么最大线程数决定了Web服务可以同时处理多少个请求，默认200.

accepCount（最大等待数）：当调用Web服务的HTTP请求数达到tomcat的最大线程数时，还有新的HTTP请求到来，这时tomcat会将该请求放在等待队列中，这个acceptCount就是指能够接受的最大等待数，默认100.如果等待队列也被放满了，这个时候再来新的请求就会被tomcat拒绝（connection refused）。

maxConnections（最大连接数）：这个参数是指在同一时间，tomcat能够接受的最大连接数。一般这个值要大于maxThreads+acceptCount。

在实际工作中对于流量入口的限流一般都是采用Nginx，tomcat一般会设置为适合当前操作系统的最大连接数，具体的业务限流（某个服务接口）一般使用sentinel和hystrix。

五、hystrix

提供了线程池隔离(默认)与信号量隔离

六、sentinel

古之学者为己，今之学者为人

分类: 中间件

标签: 分布式

nginx流量回放

linux常用命令有哪些？

1. 路径和显示的命令：

cd

pwd

ls

ls -l 可以缩写为ll，该命令是用来查看指定目录下对象的详细属性的。

2. 文件、文件夹相关的操作命令：

·mkdir 创建文件夹。

·rmdir 删除空的文件夹的，基本被淘汰。

·rm

·touch 创建一个空的文件。

基本格式：touch 文件名

示例： touch test.txt

表示在当前目录下创建一个空文件，叫test.txt

touch /opt/test.txt

表示在/opt目录下创建一个空文件，叫test.txt

3·vim 可以缩写为vi，该命令是用来创建或者编辑一个文件的。

基本格式：vi 文件名

注意事项：

·vi只能针对文件来进行操作，如果vi的对象是一个已经存在的文件夹，则最终无法保存所编辑的内容。

·vi中鼠标是没有任何用的，光标的移动是通过上下左右方向键，回车键和PageDown、PageUp等来实现的。

3. 常用的vi子命令有：

:q 退出，适用于没有对文档进行任何修改的情况下。

:q! 强制退出不保存。

:wq 退出并且保存。

:wq！文件名 强制退出，并且将当前内容另存到指定的文件中。

dd 删除光标所在的整行

x 删除光标所在的字符

gg 移动光标到整个文档的最后一行

:N N是正整数，表示将光标移动到指定的行。

4.·编辑模式：在该模式下，所有键盘的输入都是纯粹的字符串，相当于在记事本中输入一样。

5.模式的切换和对应的特征：

命令模式下， 按i或者a或者s都可以切换到编辑模式。

一般来说，编辑模式就是vi界面的左下角出现“--insert--”这样的提示串。

编辑模式下，按ESC键就可以切换到命令模式。

6. 常见问题：linux下文件名和文件夹名能否重复？后缀名是否有用？

·不论是windows还是linux，同一个目录下，是不允许出现同名的对象。

·在linux下，文件的后缀名是没有任何意义的，一般来说，后缀名只是用来起到标识作用，当然，后缀名除了标识作用，一定程度上也考虑了和windows的兼容性。

·cp 用来实现复制粘贴操作。

基本语法格式：

格式1：

cp 源对象 目标对象

表示将源对象复制粘贴为目标对象。

示例：

cp a.txt d.txt

表示将当前目录下的a.txt复制到当前目录下，重命名为d.txt。

·mv 该命令是用来实现剪切粘贴的操作。

该命令的语法格式和cp命令基本一致。

·ln 该命令是用来创建链接对象的。

在linux中，链接分为硬链接和软链接。

默认创建的是硬链接。

-s 该属性表示创建的是软链接。

·文件内容的查看：

常用的命令有：

cat

more

less

head

Tail

常见的退出方式：

·CTRL+C 强制中止当前正在执行的命令。

·ESC

·Q

·QUIT

·EXIT

对象的查找：

find：

基本格式：

find 查找范围 参数 参数值

示例：

find / -name a.txt

表示在根目录下查找名字叫a.txt的对象。

文本内容、字符串的查找：

grep 该命令是支持正则表达式方式，在指定对象中查找符合条件的字符串或者行的。

基本格式：

grep [参数] [正则表达式] 对象

示例：

grep "a" a.txt

表示输出a.txt中所有包含字符a的行。

·ls 查看命令

基本格式：ls [对象]

表示查看对象或者对象下的所有对象的信息。

重要属性：

-l

查看详细属性

权限相关的命令：

在linux系统中，存在用户和用户组的概念。

·useradd 用来添加用户

示例：useradd test1

表示添加一个新的用户，叫test1.

·passwd 用来修改指定用户的密码

示例：passwd test1

通过交互式的方式来修改test1的密码

PS：如果passwd后不跟用户名，则表示修改的是当前登录的用户的密码。

在linux中，用户配置信息都是记录在系统文件/etc/passwd中的。

·userdel 用来删除用户

建议使用属性-r。

·groupadd 添加用户组

·groupdel 删除用户组

权限：

在linux中，用户对于对象的权限有三种：分别为

r 可读

w 可写

x 可执行

chmod 直接修改对象的权限，即直接修改这9个字符。

基本格式：

chmod 权限表达式 对象名 [-R]

·权限表达式，在linux中，权限的表示方式有两种：

·字符：

rwx 可读可写可执行

u 表示所有者

g 表示所属组

o 表示其它人

= 表示赋值

+ 表示加权限

- 表示减少权限。

例子：chmod u=rw a.txt

表示将a.txt的所有者的权限修改为可读可写。

其他操作：

·history 显示历史输入命令

！N N表示历史命令的编号

该命令表示执行历史命令列表中的第N条命令。

·clear 清理屏幕的输出。

·TAB键 是用来补全路径或者文件名的。