keepalive第二弹---构建轻量级的nginx高可用

一、简单的原理描述

   在上一期的博文中我们简单的了解了什么是keepalive和如何实现keepalive + httpd的高可用。我们都知道相对于httpd来说还有更加轻量级的nginx服务能为我们提供网页web能力。并且还能够实现反向代理功能。那么什么是nginx呢?它又具有一些什么样的优势和特性呢?接下来我们就简单的给大家描述一下。

   传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。

   在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。

   如果负载以CPU密集型应用为主,如SSL或压缩应用,则worker数应与CPU数相同;如果负载以IO密集型为主,如响应大量内容给客户端,则worker数应该为CPU个数的1.5或2倍。

   Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。

主进程主要完成如下工作:

1. 读取并验正配置信息;

2. 创建、绑定及关闭套接字;

3. 启动、终止及维护worker进程的个数;

4. 无须中止服务而重新配置工作特性;

5. 控制非中断式程序升级,启用新的二进制程序并在需要时回滚至老版本;

6. 重新打开日志文件,实现日志滚动;

7. 编译嵌入式perl脚本;

   这些功能都是站在前人的基础上做出的更加优秀的改进,因此我们在实现简单web应用的时候更加倾向于使用nginx。由此,我们在这里为大家提供一个基于nginx的keepalive高可用平台的搭建过程。拓扑如下:

二、安装配置nginx

1、安装规划

rhel6.4-32虚拟机两台host1:172.16.12.61、host2:172.16.12.62

2、解决依赖关系

编译安装nginx需要事先需要安装开发包组"Development Tools"和 "Development Libraries"。还需要专门安装pcre-devel包。同时还需要同步两台服务器的时间:

# yum -y gourpinstall "Development Tools" "Development Libraries"
# yum -y install pcre-devel
# ntpdate 172.16.0.1                #172.16.0.1是搭建的时间服务器

3、安装nginx

首先添加用户nginx,实现以之运行nginx服务进程:

# groupadd -r nginx
# useradd -r -g nginx nginx
# tar xf nginx-1.4.1.tar.gz
# cd nginx-1.4.1

接着进行编译及安装:

# ./configure \
  --prefix=/usr \                                           #安装路径
  --sbin-path=/usr/sbin/nginx \                             #二进制命令
  --conf-path=/etc/nginx/nginx.conf \                       #配置文件
  --error-log-path=/var/log/nginx/error.log \               #错误日志
  --http-log-path=/var/log/nginx/access.log \               #访问日志
  --pid-path=/var/run/nginx/nginx.pid  \                    #PID路径
  --lock-path=/var/lock/nginx.lock \                        #锁文件
  --user=nginx \                                            #用户
  --group=nginx \                                           #组
  --with-http_ssl_module \                                  #支持ssl认证模块
  --with-http_flv_module \                                  #支持流媒体
  --with-http_stub_status_module \                          #支持统计页面
  --with-http_gzip_static_module \                          #支持页面压缩
  --http-client-body-temp-path=/var/tmp/nginx/client/ \     #用户请求主体缓存目录
  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \            #代理数据
  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \           #fastcgi
  --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \             #支持python框架
  --http-scgi-temp-path=/var/tmp/nginx/scgi \               #scgi
  --with-pcre                                               #pcre
# make && make install

说明:在安装过程中不同的机器可能有些软件包的安装不同,在编译安装的过程可能会出现不同的报错信息,大家不用担心,依照错误提示安装所需要的软件包即可。如遇到问题可以留言,也可以自行在网上搜索。

4、为nginx提供SysV init脚本:

新建文件/etc/rc.d/init.d/nginx,内容如下:

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
                                                                                                                                                                                                                                                                                    
# Source function library.
. /etc/rc.d/init.d/functions
                                                                                                                                                                                                                                                                                    
# Source networking configuration.
. /etc/sysconfig/network
                                                                                                                                                                                                                                                                                    
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
                                                                                                                                                                                                                                                                                    
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
                                                                                                                                                                                                                                                                                    
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
                                                                                                                                                                                                                                                                                    
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
                                                                                                                                                                                                                                                                                    
lockfile=/var/lock/subsys/nginx
                                                                                                                                                                                                                                                                                    
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
                                                                                                                                                                                                                                                                                    
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
                                                                                                                                                                                                                                                                                    
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
                                                                                                                                                                                                                                                                                    
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
                                                                                                                                                                                                                                                                                    
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
                                                                                                                                                                                                                                                                                    
force_reload() {
    restart
}
                                                                                                                                                                                                                                                                                    
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
                                                                                                                                                                                                                                                                                    
rh_status() {
    status $prog
}
                                                                                                                                                                                                                                                                                    
rh_status_q() {
    rh_status >/dev/null 2>&1
}
                                                                                                                                                                                                                                                                                    
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

而后为此脚本赋予执行权限:

# chmod +x /etc/rc.d/init.d/nginx

添加至服务管理列表,并让其开机自动启动:

# chkconfig --add nginx
# chkconfig nginx on

而后就可以启动服务并测试了:

# service nginx start
# vim /usr/html/index.html
    <h1>master.wangej.com</h1>
# vim /usr/html/index.html
    <h1>slaves.wangej.com</h1>

实例如图:

三、安装keepalive

安装规划:高可用的流动IP为172.16.12.254

1、安装软件

因为在rhel6.4中已经自带的有keepalive,所以我们这里就直接使用yum安装,请自行配置好yum源(keepalive有依赖关系,如果不能自行解决依赖关系就请使用yum安装)

# yum install keepalived -y

2、修改配置文件

# cd /etc/keepalived/
# vim keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
        [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "killall -0 nginx"
    interval 2
    weight -2
    fall 2
    rise 1
}
vrrp_script chk_schedown {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 2
   weight -2
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 61
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass nginxpass
    }
    virtual_ipaddress {
        172.16.12.254/16 dev eth0 label eth0:0
    }
    track_script {
        chk_nginx
        chk_schedown
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

在从服务器上只需修改以下两项即可:

state BACKUP
priority 100

3、提供一个手动停止节点的脚本

# vim notify.sh                                 #创建一个脚本
#!/bin/bash
# Author: WangEJ <[email protected]>
# description: An example of notify script
#
ifalias=${2:-eth0:0}
interface=$(echo $ifalias | awk -F: '{print $1}')
vip=$(ip addr show $interface | grep $ifalias | awk '{print $2}')
[email protected]'
[email protected]'
workspace=$(dirname $0)
notify() {
    subject="$ip change to $1"
    body="$ip change to $1 $(date '+%F %H:%M:%S')"
    echo $body | mail -s "$1 transition" $contact
}
case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        /etc/rc.d/init.d/nginx restart
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: $(basename $0) {master|backup|fault}'
        exit 1
    ;;
esac

添加到开机启动的服务列表中:

# chkconfig keepalived on

接下来就可以启动服务,测试服务:

# service keepalived start

接下来我们手动关闭主节点,将IP流转到从节点上测试一下:

同时观察一下两个节点的IP状况:

四、补充说明

   至此我们基于nginx的keepalive高可用服务就已经搭建完成,如果诸位有什么疑问,或者文章中有什么疏漏的话请留言,大家一起共同讨论,共同进步!

更多相关文章
  • nginx+keepalived+proxy_cache实现nginx高可用及高速缓存
    nginx+ keepalived+proxy_cache实现nginx高可用及高速缓存环境:master: 10.10.0.224slave: 10.10.0.225real server 1: 10.10.0.221real server 2: 10.10.0.226vip: 10.10.0.2 ...
  • keepalived整合lvs实现nginx高可用负载均衡1.简介 LVS(Linux Virtual Server) 是Linux虚拟服务器,可以把多台服务器虚拟为一个虚拟IP,同时实现各种负载均衡算法Keepalived是基于LVS,并与LVS高度融合的,监控LVS下所有真实服务器健康状态,并通 ...
  • 使用keepalived打造轻量级的lvs高可用集群一.VRRP协议VRRP: Virtual Routing Redundent Rrotocol  虚拟路由冗余协议学过网络的朋友都知道,网络在设计的时候必须考虑到冗余容灾,包括线路冗余,设备冗余等,防止网络存在单点故障,那在路由器或三层交换机处实 ...
  • HA专题: corosync+pacemaker实现nginx高可用前言这几天都会学习高可用集群, 也会将其中的一些实验写出来分享给大家, 这个专题估计会写5篇左右, p.s: 写博客很累的实验介绍这次的实验比较简单, 在CentOS7使用corosync+pacemaker实现两个节点的nginx ...
  • keepalived对nginx高可用演练脚本 参考文章:http://deidara.blog.51cto.com/400447/302402/ .安装nginx.keepalived.epel- ]; ];.故障演练 killall nginx tailf /var/log/messages # ...
  • 一.理论·HA高可用,又被叫做双机热备.·高可用原理:两台机器A和B,正常是A提供服务,B闲置,当A宕机或服务宕掉,切换到B继续提供服务,使用心跳进行通信和选举·heartbeat原理:心跳检测和资源接管两个部分.集群中的主机互相发送报文,告诉对方自己当前的状态,如果在一定时间内未收到对方报文,认定 ...
  • nginx高可用负载均衡配置
    Nginx+keepalived 实现高可用负载均衡集群一.Nginx简介Nginx ("engine x") 是一个高性能HTTP和反向代理 服务器,也是一个 IMAP/POP3/SMTP 服务器. Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler ...
  • keepalived入门之nginx高可用部署(应用篇)
      我们常常遇到这样一些应用环境:客户端通过访问nginx,nginx再通过反向代理将后端web server运行的业务反馈给客户端,但是如果nginx server出现宕机或者其他bug导致业务不能正常运营,所以为了不影响业务正常运营,我们引进了keepalive+nginx组合,来保证整个系统的 ...
一周排行
  • 有没有想过把自己好玩的东西发布到网上?自己的电脑明明可以练外网的,把自己的图片或者网页的路径到外网查找却显示不了,为什么?因为你的网页或者图片没有发布,学会apahce这个问题就可以解决了,这个服务我也喜欢,很有趣. ...
  • 说起存储,我们不得不说EMC这一存储帝国的霸主,从初创公司到目前的行业领导者,其远见和创新一直被后来者模仿,也赢得世人称赞.还记得上个世纪七八十年代,IBM大型机控制整个存储市场,所有存储都是配套大型机:为此IBM推 ...
  • 您的软件项目能否取得成功,这依赖于准确和完整的需求.要保证体系结构的正确,就要求人们能够使用相应的技术技能来捕获和细化正确的需求.发现用于需求建模的有价值的技能和工具,并且了解如何评估能力方面的进展.确定需求可能是非 ...
  • 访问网站出现图片破裂
                                 访问网站出现图片破裂访问网站的时 ...
  •  1. export 和check out  export 下载源代码  用法:  1.新建一个空的文件夹,右键点击它,可以看到TortoiseSVN菜单以及上面的SVN Checkout.  2.不用管这个Chec ...
  • 第54课:Hive集群安装和测试
    一.Hive集群安装1,安装好Hadoop,并启动HDFS和YARN.2,下载hive 1 ...
  •   网上很多用Ant来编译打包Android应用的文章,毕竟Ant是纯Java语言编写的,具有很好的跨平台性.今天想写个纯windows平台下的DOS命令行方式编译Android项目的bat文件,见以下代码: ech ...
  • 项目质量管理的概念.·项目质量管理过程概述.·质量规划.·质量保证.·质量控制.·项目质量管理重点知识点总结.·项目质量管理各过程详述.EricHu原创作品,转贴请注明作者和出处,留此信息.------------- ...
  •   有时候我们会把站点,做一个白名单或者黑名单的限制比如说我们发现一个来源的IP会有非法的请求,那我们通过访问日志可以发现其中某一个IP一直在进行尝试攻击我的站点,这个时候我就可以把这个IP禁掉,我们可以在配置文件里 ...
  • Node.js 学习手册 标签(空格分隔): node.js 模块 核心模块 核心模块是被编译成二进制代码,引用的时候只需require表示符即可 os 系统基本信息 os模块可提供操作系统的一些基本信息 1.返回系 ...