nginx全面解析【负载均衡、反向代理、高可用、宕机容错】 - Go语言中文社区

nginx全面解析【负载均衡、反向代理、高可用、宕机容错】


什么是nginx?

nginx是一款高性能的http服务器,官方测试nginx能够支支撑5万并发链接,并且cpu、内存等资源消耗却非常低,运行非常稳定,所以现在很多知名的公司都在使用nginx。

 

nginx有什么作用?

1、负载均衡(可以减轻单台服务器的压力)

2、反向代理(隐藏企业真实的ip地址)

3、搭建虚拟服务器

4、用做静态服务器(实现动静分离)

5、nginx性能高、体积小、能支撑的并发量很高

6、ddos攻击可以使用nginx解决

7、解决ajax跨域问题

 

这里补充一点:

问:企业中常用的安全架构有哪些?

1、使用nginx做反向代理(隐藏了服务器真实的ip地址)

2、ddos(流量攻击)可以使用nginx解决

3、使用https防止第三方通过抓包分析http请求

4、防盗链、csrf(跨域请求伪造)、xss攻击、sql注入等

分享我之前写过的文章《XSS攻击及解决方案》《表单重复提交的解决方案(防止模拟Http请求CSRF)》

 

除了nginx,还有什么反向代理服务器呢?

lvs、F5(硬件)、haproxy等。

 

nginx应用场景

1、http服务器。Nginx是一个http服务可以独立提供http服务。可以做网页静态服务器

2、虚拟主机。可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机。

3、反向代理,负载均衡。在安全架构中,使用反向代理可以隐藏企业真实ip地址,安全性高。当网站的访问量达到一定程度后,单台服务器不能满足用户的请求时,需要用多台服务器集群可以使用nginx做负载均衡,并且多台服务器可以平均分担负载,不会因为某台服务器负载高宕机而某台服务器闲置的情况。

4、nginx搭建企业级api接口网关,可以解决跨域问题

5、安全架构中可以使用nginx防ddos流量攻击

 

Linux下nginx安装

https://blog.csdn.net/wxyjuly/article/details/79443432

启动:
$ /usr/local/nginx/sbin/nginx

重启:
$ /usr/local/nginx/sbin/nginx –s reload

停止:
$ /usr/local/nginx/sbin/nginx –s stop

测试配置文件是否正常:
$ /usr/local/nginx/sbin/nginx –t

强制关闭:
$ pkill nginx

 

nginx反向代理配置

反向代理通过在nginx/conf/nginx.conf中的proxy_pass配置

什么是反向代理?

反向代理(Reverse Proxy)方式是指以代理服务器外网方式来接受internet上的连接请求,然后将请求转发内网的服务器(tomcat),并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器。

启动一个Tomcat 127.0.0.1:8080

需要配置反向代理,则需要配置一下nginx安装目录下的conf文件夹——nginx.conf

原配置文件含义:

可以看到nginx默认监听端口号为80,当请求开头为localhost或localhost:80时候,拦截所有请求,并转发到index.html,即nginx的默认页面

那么,nginx配置反向代理也就迎刃而解了:

如果我想在本地通过访问www.nginx.cn跳转到我的本地项目localhost:8080/index,则这么配置

server {
        listen       80;
        server_name  www.nginx.cn;
        location / {
		    proxy_pass  http://localhost:8080/index;
			index  index.html index.htm;
        }
    }

重启nginx      /usr/local/nginx/sbin/nginx –s reload

plus:   server{}可以配置多个,这个过程中我们隐藏了我们真实的ip地址,提高了安全性。

 

nginx实现负载均衡

什么是负载均衡

    负载均衡,英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务。负载均衡的本质目的就是提高网站的吞吐量(吞(请求)、吐(响应)数量),减轻单台服务器压力,尽可能最大化利用每个服务器的资源。

负载均衡策略

负载均衡策略配置在nginx/conf/nginx.conf中,根据upstream backserver{}配置,注意:配置在server{}外面

1、轮询(默认)

每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。如有两台tomcat,tomcat1和tomcat2,那么先访问tomcat1,再访问tomcat2,再访问tomcat1,再访问tomcat2...以此循环。适用场景:两台服务器配置相近情况,否则对于配置低的服务器是性能瓶颈。

upstream backserver { 
    server 10.211.55.1; 
    server 10.211.55.2; 
} 
location / {
            proxy_pass http://backserver;
            index  index.html index.htm;
        }

当你访问www.nginx.cn/login时候,端口号80和server_name都匹配,location / 拦截所有请求,会反向代理到backserver,而backserver配置了两个serverIP,则实际访问的是:10.211.55.1  和  10.211.55.2两者轮询访问。

当然,如果你没有这么多服务器,你也可以根据端口号区分,搭建伪集群。

upstream backserver { 
server 127.0.0.1:8080; 
server 127.0.0.1:8081;
} 

改过配置,不会实时生效,重启nginx     sbin/nginx -s reload

 

 2、指定权重  

指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。

upstream backserver { 
    server 10.211.55.1 weight=5; 
    server 10.211.55.2 weight=10; 
} 

 按比例进行分配   10.211.55.1访问1次,10.211.55.2访问两次。

改过配置,不会实时生效,重启nginx

 

3、IP绑定 ip_hash【不建议】  

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题

upstream backserver { 
    ip_hash; 
    server 10.211.55.1; 
    server 10.211.55.2; 
} 

 

4、第三方【了解】

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

upstream backserver { 
    server 10.211.55.1; 
    server 10.211.55.2; 
    fair; 
} 


 

到此位置,负载均衡和反向代理就介绍完了。我发现很多人有一个误区,分不清楚负载均衡和反向代理的区别。负载均衡主要是针对tomcat集群,nginx根据负载均衡策略访问不同的tomcat服务器,让服务器尽可能发挥出更多性能。而反向代理主要是出于安全性考虑,只需要提供nginx的公网ip,而通过内网nginx与tomcat实现通信,这样隐藏了tomcat服务器的ip地址。

 

那么假设tomcat集群中,有一台服务器挂了,而nginx刚好选择了该台服务器,那么会一直请求,问题来了,通过nginx怎么解决tomcat宕机容错问题呢?

服务器宕机轮询配置规则

server {
        listen       80;
        server_name  www.nginx.cn;
        location / {
	            proxy_pass  http://backserver;
	            index  index.html index.htm;


                 proxy_connect_timeout 1;
                    proxy_send_timeout 1;
                    proxy_read_timeout 1;


        }
		
		}

加入三行代码,在访问某服务器1秒内没有响应的话,自动轮询下一台服务器。

实现tomcat服务器高可用:1、当有tomcat节点挂掉时候,使用keepalived脚本重启服务器     2、配置nginx服务器宕机轮询规则,超时未访问自动轮询下一台服务器    3、若多次重启不成功,则通过邮件通知

 

问:如果在项目发布新版本时候,怎么访问服务器?

假设有主备两台服务器,主机发布版本期间无法访问主机,那么通过配置了nginx服务器宕机容错机制,nginx则会转发给备机,当主机发布版本完成后,再更新备机项目。

 

问:tomcat发布版本的时候,session失效怎么解决?

由于session存放在jvm内存中,重启session失效,解决办法:把session存放在redis中。

 

nginx配置DDOS

限制请求次数

设置NginxNginx Plus的连接请求在一个真实用户请求的合理范围内。比如,如果你觉得一个正常用户每两秒可以请求一次登录页面,你就可以设置Nginx每两秒钟接收一个客户端IP的请求(大约等同于每分钟个请求)。

limit_req_zone $binary_remote_addr zone=one:10m rate=2r/s;
    server {
        ...
        location /login.html {
        limit_req zone=one;
        ...
        }
}

`limit_req_zone`命令设置了一个叫one的共享内存区来存储请求状态的特定键值,在上面的例子中是客户端IP($binary_remote_addr)location块中的`limit_req`通过引用one共享内存区来实现限制访问/login.html的目的。

 

nginx配置防盗链

location ~ .*.(jpg|jpeg|JPG|png|gif|icon)$ {
        valid_referers blocked http://www.itcats.cn www.itcats.cn;
        if ($invalid_referer) {
            return 403;
        }
              }

 

 

nginx作为服务器的入口,所有的请求都需要经过nginx再分发给tomcat,如果有一天nginx挂了怎么办?nginx怎么实现高可用?

 

什么是负载均衡高可用

       nginx作为负载均衡器,所有请求都到了nginx,可见nginx处于非常重点的位置,如果nginx服务器宕机后端web服务将无法提供服务,影响严重。为了屏蔽负载均衡服务器的宕机,需要建立一个备份机。主服务器和备份机上都运行高可用(High Availability)监控程序,通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时,它就接管主服务器的服务IP并继续提供负载均衡服务;当备份管理器又从主管理器收到“I am alive”这样的信息时,它就释放服务IP地址,这样的主服务器就开始再次提供负载均衡服务。

 

Nginx + Keepalived实现高可用

正常的互联网公司都会搭建nginx一主一备,主nginx挂了,备nginx就工作了。而keepalived负责

 

Keepalived是什么?

keepalived是集群管理中保证集群高可用的一个服务软件,用来防止单点故障。 Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。

 

Keepalived工作原理

Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,在VRRP中有两组重要的概念:VRRP路由器和虚拟路由器,主控路由器和备份路由器。

VRRP全称 Virtual Router Redundancy Protocol,即 虚拟路由冗余协议。可以认为它是实现路由器高可用的容错协议,即将N台提供相同功能的路由器组成一个路由器组(Router Group),这个组里面有一个master和多个backup,但在外界看来就像一台一样,构成虚拟路由器,拥有一个虚拟IP(vip,也就是路由器所在局域网内其他机器的默认路由),占有这个IP的master实际负责ARP响应和转发IP数据包,组中的其它路由器作为备份的角色处于待命状态。master会发组播消息,当backup在超时时间内收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master,保证路由器的高可用。

1、安装keepalived

下载keepalived地址:http://www.keepalived.org/download.html

解压安装:

tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

yum install -y openssl openssl-devel(需要安装一个软件包)

cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived

make && make install

 

2、keepalived安装成Linux系统服务

将keepalived安装成Linux系统服务,因为没有使用keepalived的默认安装路径(默认路径:/usr/local),安装完成之后,需要做一些修改工作:

首先创建文件夹,将keepalived配置文件进行复制:

mkdir /etc/keepalived

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

然后复制keepalived脚本文件:

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

ln -s /usr/local/sbin/keepalived /usr/sbin/

ln -s /usr/local/keepalived/sbin/keepalived /sbin/

可以设置开机启动:chkconfig keepalived on,到此我们安装完毕!

 

3、keepalived 常用命令

service keepalived start

service keepalived stop

 

4、配置nginx主备自动重启

第三步:对配置文件进行修改:vim /etc/keepalived/keepalived.conf

keepalived.conf配置文件说明:

主服务器:

把keepalived.conf文件替换为:

! Configuration File for keepalived

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本,脚本内容下面有,就是起到一个nginx宕机以后,自动开启服务
    interval 2 #检测时间间隔,每隔两秒检查一次服务器是否宕机
    weight -20 #如果条件成立的话,则权重 -20
}
# 定义虚拟路由,VI_1 为虚拟路由的标示符,自己定义名称
vrrp_instance VI_1 {
    state MASTER #来决定主从
    interface eth0 # 绑定虚拟 IP 的网络接口,根据自己的机器填写
    virtual_router_id 121 # 虚拟路由的 ID 号, 两个节点设置必须不一样
    mcast_src_ip 10.211.55.3 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔,两个节点设置必须一样,默认 1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }

    virtual_ipaddress {
        192.168.11.12 # 主从一致,虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展,用途广泛。可配置多个。
    }
}

 

nginx_check.sh 脚本:   让nginx自动重启的脚本,可以模拟把nginx进程杀死,只启动keepalived,会发现两台nginx都会重启,如果无法重启nginx_check.sh脚本授权。赋予可执行权限:chmod +x /etc/keepalived/nginx_check.sh

这样,使用keepalived就方便多了,无需手动启动nginx,只需启动keepalived,nginx就会通过脚本执行启动命令

 

注意:如果主服务器keepalived挂掉了,那么keepalived会把虚拟ip分配给从服务器进行使用,但是主服务器还是原来那个服务器,决定谁是主从服务器是根据一开始在keepalived.conf配置的——state MASTER #来决定主从,一旦主服务器的keepalived恢复工作,主服务器立刻获得虚拟ip地址,从服务器休息,主服务器继续工作,决定主从服务器这点跟redis的哨兵机制不太一样。

 

#!/bin/bash
A=`ps -C nginx -no-header |wc -l`
if [ $A -eq 0 ];then
    /usr/local/nginx/sbin/nginx
    sleep 2
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

我们需要把nginx_check.sh脚本分别copy到两台机器的 /etc/keepalived/文件夹下。

 

 

1、配置完成 启动  service keepalived start

返回 :  Starting keepalived (via systemctl):                       [  OK  ]   成功

2、输入ip a   发现  inet多了一行虚拟地址ip

 inet 192.168.11.12/32 scope global eth0

3、这时就可以通过虚拟ip访问nginx了

访问192.168.11.12即可

 

从服务器:

把keepalived.conf文件替换为:

! Configuration File for keepalived

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本,脚本内容下面有,就是起到一个nginx宕机以后,自动开启服务
    interval 2 #检测时间间隔,每隔两秒检查一次服务器是否宕机
    weight -20 #如果条件成立的话,则权重 -20
}
# 定义虚拟路由,VI_1 为虚拟路由的标示符,自己定义名称
vrrp_instance VI_1 {
    state BACKUP #来决定主从
    interface eth0 # 绑定虚拟 IP 的网络接口,根据自己的机器填写 输入ip a查询inet后是eth几
    virtual_router_id 122 # 虚拟路由的 ID 号, 两个节点设置必须不一样
    mcast_src_ip 10.211.55.1 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔,两个节点设置必须一样,默认 1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }

    virtual_ipaddress {
        192.168.11.12 # 主从一致 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展,用途广泛。可配置多个。
    }
}

相比主服务器 ,输入ip a   发 inet并没有显示多一行虚拟地址ip

原因:虚拟ip在主服务器内,并没有在从服务器,因为ip地址不允许有重复的

 

模拟让主服务器停止    service keepalived stop   再在从服务器输入  ip a

从服务器获得了虚拟ip   显示:   inet 192.168.11.12/32 scope global eth0

keepalived2.0安装配置参考:

https://www.jianshu.com/p/cf7601437ecc

这样,nginx+keepalived实现的高可用就完成了,

总结一下:

1、主nginx和备nginx都需要安装keepalived,且都需要运行keepalived

2、keepalived只能负责自己服务器的nginx,当主服务器keepalive挂掉,从服务器获得主服务器的虚拟ip。记住!!!虚拟ip在哪,请求就交给哪个nginx处理。主服务器keepalived没挂掉,主服务器就有虚拟ip,访问虚拟ip则访问主服务器的nginx,主服务器keepalived挂掉,则从服务器获得虚拟ip,访问虚拟ip则访问从服务器的nginx。

3、只要keepalived不挂,nginx就不会挂,即使你手动杀掉nginx进程,keepalived也会通过脚本重启nginx。

 

 

总结起来一句:此处的keepalived作用就是:①主从虚拟ip自动切换(即自动故障迁移)  ②nginx自动重启

主keepalived挂,从nginx工作,主keepalived工作,从nginx休息,主nginx工作,keepalived不挂,所在的nginx也不会挂

 

 

举一反三:如果tomcat挂掉了,该怎么处理?

答:首先我们nginx会访问tomcat,如果访问对应的tomcat挂掉,则会采用服务器宕机轮询配置规则(上面提到了),即一定时间内,tomcat无响应则自动轮询下一台服务器,其次,还要使用keepalived重启宕机的tomcat,本质上跟上面的配置一样,只需要修改tomcat重启脚本即可

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/itcats_cn/article/details/82454657
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-03-07 23:16:01
  • 阅读 ( 1061 )
  • 分类:Go Web框架

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢