把ssl证书*.crt和公钥*.key拷贝到/usr/local/nginx/conf目录中。
新增server窃听443端口:
server{ listen443; server_namewww.imoocdsp.com; #开启ssl sslon; #配置ssl证书 ssl_certificate1_www.imoocdsp.com_bundle.crt; #配置证书秘钥 ssl_certificate_key2_www.imoocdsp.com.key; #ssl会话cache ssl_session_cacheshared1m; #ssl会话超时时间 ssl_session_timeout5m; #配置加密套件,写法遵循openssl标准 ssl_protocolsTLSv1TLSv1.1TLSv1.2; ssl_ciphersECDHE-RSA-AES128-GCM-SHA256!aNULL!RC4:!DHE; ssl_prefer_server_cipherson; location/{ proxy_passhttp://tomcats/; indexindex.htmlindex.htm; } }
六、配置hanginx
1、安装keepalived
(1)下载
https://www.keepalived.org/download.html
(2)解压
tar-zxvfkeepalived-2.0.18.tar.gz
(3)使用configure命令配置安装目录与核心配置文件所在位置:
./configure--prefix=/usr/local/keepalived--sysconf=/etc
prefix:keepalived安装的位置sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置则keepalived启动不了,/var/log/messages中会报错
sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置则keepalived启动不了,/var/log/messages中会报错
配置过程中可能会出现警告信息,如下所示:
***WARNING-thisbuildwillnotsupportIPVSwithIPv6.Pleaseinstalllibnl/libnl-3devlibrariestosupportIPv6withIPVS. #安装libnl/libnl-3依赖 yum-yinstalllibnllibnl-devel
(4)安装keepalived
make&&makeinstall
(5)配置文件在/etc/keepalived/keepalived.conf
(6)忘掉安装配置的目录,则通过如下命令找到:
whereiskeepalived
(7)启动keepalived
步入sbin目录
./keepalived
2、配置keepalived主机
(1)通过命令vimkeepalived.conf打开配置文件
global_defs{ #路由id:当前安装keepalived的节点主机标识符,保证全局唯一 router_idkeep_171 } vrrp_instanceVI_1{ #表示状态是MASTER主机还是备用机BACKUP stateMASTER #该实例绑定的网卡 interfaceens33 #保证主备节点一致即可 virtual_router_id51 #权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选 priority100 #主备之间同步检查时间间隔,单位秒 advert_int2 #认证权限密码,防止非法节点进入 authentication{ auth_typePASS auth_pass1111 } #虚拟出来的ip,可以有多个(vip) virtual_ipaddress{ 192.168.1.161 } }
附:查看网卡信息命令
ipaddr
(2)启动keepalived
(3)查看进程
ps-ef|grepkeepalived
(4)查看vip(虚拟ip)
在网卡ens33下,多了一个192.168.1.161,这个就是虚拟ip
3、把keepalived注册为系统服务
(1)拷贝配置文件
将keepalived目录下etc/init.d/keepalived拷贝到/etc/init.d/下
将keepalived目录下etc/sysconfig/keepalived拷贝到/etc/sysconfig/下
(2)刷新systemctl
systemctldaemon-reload
(3)启动、停止、重启keepalived
#启动 systemctlstartkeepalived.service #停止 systemctlstopkeepalived.service #重启 systemctlrestartkeepalived.service
4、实现双机主备高可用
(1)更改备机配置
global_defs{ router_idkeep_172 } vrrp_instanceVI_1{ #备用机设置为BACKUP stateBACKUP interfaceens33 virtual_router_id51 #权重低于MASTER priority80 advert_int2 authentication{ auth_typePASSauth_pass1111 } virtual_ipaddress{ #注意:主备两台的vip都是一样的,绑定到同一个vip 192.168.1.161 } }
(2)启动Keepalived
(3)访问vip即可访问主机,当主机失效时访问vip都会访问到备机
5、keepalived配置nginx手动重启
(1)编撰脚本
在/etc/keepalived/下创建脚本check_nginx_alive_or_not
#!/bin/bash A=`ps-Cnginx--no-header|wc-l` #判断nginx是否宕机,如果宕机了,尝试重启 if[$A-eq0];then /usr/local/nginx/sbin/nginx #等待一小会再次检查nginx,如果没有启动成功,则停止keepalived,使其启动备用机 sleep3 if[`ps-Cnginx--no-header|wc-l`-eq0];then killallkeepalived fi fi
(2)添加运行权限
chmod+x/etc/keepalived/check_nginx_alive_or_not.sh
(3)配置keepalived窃听nginx脚本
vrrp_scriptcheck_nginx_alive{ script"/etc/keepalived/check_nginx_alive_or_not.sh" interval2#每隔两秒运行上一行脚本 weight10#如果脚本运行失败,则升级权重+10 }
(4)在vrrp_instance中新增监控的脚本
track_script{ check_nginx_alive#追踪nginx脚本 }
(5)重启Keepalived促使配置文件生效
systemctlrestartkeepalived
6、keepalived双主热备
(1)配置DNS寻址
在同一个域名下配置两个ip,自行百度
(2)配置第一台主机
global_defs{ router_idkeep_171 } vrrp_instanceVI_1{ stateMASTERi nterfaceens33 virtual_router_id51 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.161 } } vrrp_instanceVI_2{ stateBACKUP interfaceens33 virtual_router_id52 priority80 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.162 } }
(3)配置第二台主机
global_defs{ router_idkeep_172 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id51 priority80 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.161 } } vrrp_instanceVI_2{ stateMASTER interfaceens33 virtual_router_id52 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.162 } }
(4)重启两台Keepalived
systemctlrestartkeepalived
七、LVS(LinuxVirtualServer)实现高可用负载均衡
1、为什么要使用LVS+Nginx
lvs基于四层负载均衡,工作效率较Nginx的七层负载更高,使用LVS搭建Nginx集群,可以提升性能
四层负载均衡未能对信息处理,只能通过ip+端口的方式转发,所以须要七成负载进行数据的处理
Nginx接收恳求来回,LVS可以只接受不响应
2、LVS的三种模式
(1)NAT模式
顾客端将恳求发往LVS,LVS会选择一台服务器响应恳求,服务器将结果返回给LVS,LVS再返回给顾客端。
在NAT模式中,服务器的网段必须指向LVS,否则报文未能送达顾客端
NAT技术将恳求的报文和响应的报文都须要通过LVS进行地址改写,因而网站访问量比较大的时侯负载均衡调度器有比较大的困局,通常要求最多之能10-20台节点
NAT模式支持对IP地址和端口进行转换。即用户恳求的端口和真实服务器的端口可以不一致
(2)TUN模式
顾客端将恳求发往LVS,LVS会选择一台服务器响应恳求,在顾客端与服务器之间构建隧洞,返回结果的时侯直接由服务器返回响应,不在经过LVS。
TUN模式必须所有的服务器上都绑定VIP的IP地址,所有的服务器都必须有网卡。
TUN模式走隧洞运维难度大,而且会直接曝露服务器地址
服务器将应答包直接发给用户。所以,降低了负载均衡器的大量数据流动,负载均衡器不再是系统的困局,能够处理很巨大的恳求量,这些方法,一台负载均衡器才能为好多服务器进行分发。并且跑在网段上能够进行不同地域的分发
(3)DR模式
顾客端将恳求发往LVS,LVS会选择一台服务器响应恳求,返回结果的时侯通过统一的路由进行返回,不在经过LVS。
和TUN模式一样,LVS只是分发恳求,应答包通过单独的路由返回给顾客端,与TUN相比这些方法不须要隧洞结构,可以兼容大多数的操作系统,同时统一路由可以隐藏真实的化学服务器。DR模式效率更高,但配置更复杂.
所有服务器节点和LVS只能在一个局域网上面。
3、搭建LVS-DR模式
先关掉掉服务器上网络配置管理器,防止网路插口冲突
systemctlstopNetworkManagersystemctldisableNetworkManager
(1)创建子插口(创建LVS的虚拟ip)
步入网卡配置目录/etc/sysconfig/network-scripts/,找到网卡配置文件,这儿以ifcfg-ens33为例,拷贝并创建子插口
cpifcfg-ens33ifcfg-ens33:1
更改子插口配置如下
配置中的192.168.1.150就是viplinux软件工程师,是提供给内网用户访问的ip地址
DEVICE="ens33:1"ONBOOT="yes"IPADDR=192.168.1.150NETMASK=255.255.255.0BOOTPROTO=static
重启网路服务
servicenetworkrestart
重启成功后,ipaddr查看一下,你会发觉多了一个ip,也就是虚拟ip(vip)
注意:阿里云不支持配置网卡,须要订购相应的负载均衡服务,腾讯云支持配置网卡,但须要订购网卡支持,一个网卡支持10个虚拟ip配置
(2)安装ipvsadm
现在的centos都集成了LVSlinux高可用集群,所以ipvs是自带的,我们只须要安装ipvsadm即可(ipvsadm是管理集群的工具,通过ipvs可以管理集群,查看集群等操作)
yuminstallipvsadm
(3)配置服务器(RS)的虚拟ip
步入网卡配置目录/etc/sysconfig/network-scripts/,找到ifcfg-lo,拷贝并创建子插口
cpifcfg-loifcfg-lo:1
更改子插口配置如下
DEVICE="lo:1" IPADDR=192.168.1.150 NETMASK=255.255.255.255 NETWORK=127.0.0.0 BROADCAST=127.255.255.255 ONBOOT="yes" NAME=loopback
重启网路服务成功后,ipaddr查看一下,你会发觉多了一个ip,也就是虚拟ip(vip)
(4)为服务器(RS)配置arp
ARP响应级别与通告行为参数说明
arp-ignore:ARP响应级别(处理请求) 0:只要本机配置了ip,就能响应请求 1:请求的目标地址到达对应的网络接口,才会响应请求 arp-announce:ARP通告行为(返回响应) 0:本机上任何网络接口都向外通告,所有的网卡都能接受到通告 1:尽可能避免本网卡与不匹配的目标进行通告2:只在本网卡通告
打开sysctl.conf:
vim/etc/sysctl.conf
配置所有网卡、默认网卡以及虚拟网卡的arp响应级别和通告行为,分别对应:all,default,lo
#configrationforlvs net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.default.arp_ignore=1 net.ipv4.conf.lo.arp_ignore=1 net.ipv4.conf.all.arp_announce=2 net.ipv4.conf.default.arp_announce=2 net.ipv4.conf.lo.arp_announce=2
刷新配置文件
sysctl-p
降低一个网段,用于接收数据报文,当有恳求到本机后,会交给lo去处理
routeadd-host192.168.1.150devlo:1
将网段添加至开机启动
echo"routeadd-host192.168.1.150devlo:1">>/etc/rc.local
(4)使用ipvsadm配置集群规则
创建LVS节点,用户访问的集群调度者
ipvsadm-A-t192.168.1.150:80-srr-p5
-A:添加集群
-t:tcp合同ip地址:设定集群的访问
ip:也就是LVS的虚拟ip
-s:设置负载均衡的算法,
rr:表示协程
-p:设置联接持久化的时间,在指定时间内同一个用户的恳求会访问到同一个服务器中
创建多台RS真实服务器
ipvsadm-a-t192.168.1.150:80-r192.168.1.171:80-g ipvsadm-a-t192.168.1.150:80-r192.168.1.172:80-g
-a:添加真实服务器
-t:tcp合同
-r:真实服务器的ip地址
-g:设定DR模式
保存到规则库,否则重启失效
ipvsadm-S
检测集群
#查看集群列表 ipvsadm-Ln #查看集群状态 ipvsadm-Ln--stats
一些其他命令
#重启ipvsadm,重启后需要重新配置 serviceipvsadmrestart #查看持久化连接 ipvsadm-Ln--persistent-conn #查看连接请求过期时间以及请求源ip和目标ip ipvsadm-Lnc #设置tcptcpfinudp的过期时间(一般保持默认) ipvsadm--set111 #查看过期时间 ipvsadm-Ln--timeout
(5)访问虚拟ip,完成LVS搭建
附:LVS的负载均衡算法
(1)静态算法
静态:按照LVS本身自由的固定的算法分发用户恳求。
转储(RoundRobin缩写’rr’):协程算法假定所有的服务器处理恳求的能力都一样的,调度器会把所有的恳求平均分配给每位真实服务器。(同Nginx的寻址)
加权寻址(WeightRoundRobin缩写’wrr’):安装权重比列分配用户恳求。权重越高,被分配到处理的恳求越多。(同Nginx的权重)
源地址散列(SourceHash缩写’sh’):同一个用户ip的恳求,会由同一个RS来处理。(同Nginx的ip_hash)
目标地址散列(DestinationHash缩写’dh’):按照url的不同,恳请到不同的RS。(同Nginx的url_hash)
(2)动态算法
动态:会按照流量的不同linux高可用集群,或则服务器的压力不同来分配用户恳求,这是动态估算的。
最小连接数(LeastConnections缩写’lc’):把新的联接恳求分配到当前联接数最小的服务器。
加权最少联接数(WeightLeastConnections缩写’wlc’):服务器的处理性能用数值来代表,权重越大处理的恳求越多。RealServer有可能会存在性能上的差别linux,wlc动态获取不同服务器的负载状况,把恳求分发到性能好而且比较空闲的服务器。
最短期望延后(ShortestExpectedDelay缩写’sed’):特殊的wlc算法。举例简述,假定有ABC三台服务器,权重分别为1、2、3。假如使用wlc算法的话,当一个新恳求进来,它可能会分给ABC中的任意一个。使用sed算法后会进行如下运算:
A:(1+1)/1=2
B:(1+2)/2=3/2
C:(1+3)/3=4/3
最终结果,会把这个恳求交给得出运算结果最小的服务器。最少队列调度(NeverQueue缩写’nq’):永不使用队列。假如有RealServer的联接数等于0,则直接把这个恳求分配过去,不须要在排队等待运算了(sed运算)。
八、搭建Keepalived+Lvs+Nginx高可用集群负载均衡
假如原来服务器上配置了LVS+nginx须要清空ipvsadm中的配置
ipvsadm-C
假如配置了Keepalived+Nginx双主集群也须要清除掉Keepalived中原来的配置,根据的后文进行配置
(1)使用keepalived配置MasterLVS
在LVS的机器上安装keepalived,安装过程参考上文
(1)更改keepalived的配置
global_defs{ router_idkeep_151 } vrrp_instanceVI_1{ stateMASTER interfaceens33 virtual_router_id41 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.150 } } #配置集群访问的ip+端口,端口和nginx保持一致 virtual_server192.168.1.15080{ #健康检查的时间,单位:秒 delay_loop6 #配置负载均衡的算法,默认的轮询 lb_algorr #设置LVS的模式NAT|TUN|DR lb-kindDR #设置会话持久化的时间 persistence_timeout5 #协议 protocolTCP #配置负载均衡的真实服务器,也就是nginx节点的具体的ip地址 real_server192.168.1.17180{ #轮询权重配比 weight1 #设置健康检查 TCP_CHECK{ #检查80端口 connect_port80 #超时时间 connect_timeout2 #重试次数 nb_get_retry2 #重试间隔时间 delay_before_retry3 } } real_server192.168.1.17180{ weight1 TCP_CHECK{ connect_port80 connect_timeout2 nb_get_retry2 delay_before_retry3 } } }
(2)启动/重启keepalived
systemctlrestartkeepalived
(2)使用keepalived配置BackupLVS
配置在备用机上
global_defs{ router_idkeep_152 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id41 priority50 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.150 } } #配置集群访问的ip+端口,端口和nginx保持一致 virtual_server192.168.1.15080{ #健康检查的时间,单位:秒 delay_loop6 #配置负载均衡的算法,默认的轮询 lb_algorr #设置LVS的模式NAT|TUN|DR lb-kindDR #设置会话持久化的时间 persistence_timeout5 #协议 protocolTCP #配置负载均衡的真实服务器,也就是nginx节点的具体的ip地址 real_server192.168.1.17180{ #轮询权重配比 weight1 #设置健康检查 TCP_CHECK{ #检查80端口 connect_port80 #超时时间 connect_timeout2 #重试次数 nb_get_retry2 #重试间隔时间 delay_before_retry3 } } real_server192.168.1.17180{ weight1 TCP_CHECK{ connect_port80 connect_timeout2 nb_get_retry2 delay_before_retry3 } } }