keepalive第二弹---构建轻量级的nginx高可用

一、简单的原理描述

   在上一期的博文中我们简单的了解了什么是keepalive和如何实现keepalive + httpd的高可用。我们都知道相对于httpd来说还有更加轻量级的nginx服务能为我们提供网页web能力。并且还能够实现反向代理功能。那么什么是nginx呢?它又具有一些什么样的优势和特性呢?接下来我们就简单的给大家描述一下。

   传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。

   在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。

   如果负载以CPU密集型应用为主,如SSL或压缩应用,则worker数应与CPU数相同;如果负载以IO密集型为主,如响应大量内容给客户端,则worker数应该为CPU个数的1.5或2倍。

   Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。

主进程主要完成如下工作:

1. 读取并验正配置信息;

2. 创建、绑定及关闭套接字;

3. 启动、终止及维护worker进程的个数;

4. 无须中止服务而重新配置工作特性;

5. 控制非中断式程序升级,启用新的二进制程序并在需要时回滚至老版本;

6. 重新打开日志文件,实现日志滚动;

7. 编译嵌入式perl脚本;

   这些功能都是站在前人的基础上做出的更加优秀的改进,因此我们在实现简单web应用的时候更加倾向于使用nginx。由此,我们在这里为大家提供一个基于nginx的keepalive高可用平台的搭建过程。拓扑如下:

二、安装配置nginx

1、安装规划

rhel6.4-32虚拟机两台host1:172.16.12.61、host2:172.16.12.62

2、解决依赖关系

编译安装nginx需要事先需要安装开发包组"Development Tools"和 "Development Libraries"。还需要专门安装pcre-devel包。同时还需要同步两台服务器的时间:

# yum -y gourpinstall "Development Tools" "Development Libraries"
# yum -y install pcre-devel
# ntpdate 172.16.0.1                #172.16.0.1是搭建的时间服务器

3、安装nginx

首先添加用户nginx,实现以之运行nginx服务进程:

# groupadd -r nginx
# useradd -r -g nginx nginx
# tar xf nginx-1.4.1.tar.gz
# cd nginx-1.4.1

接着进行编译及安装:

# ./configure \
  --prefix=/usr \                                           #安装路径
  --sbin-path=/usr/sbin/nginx \                             #二进制命令
  --conf-path=/etc/nginx/nginx.conf \                       #配置文件
  --error-log-path=/var/log/nginx/error.log \               #错误日志
  --http-log-path=/var/log/nginx/access.log \               #访问日志
  --pid-path=/var/run/nginx/nginx.pid  \                    #PID路径
  --lock-path=/var/lock/nginx.lock \                        #锁文件
  --user=nginx \                                            #用户
  --group=nginx \                                           #组
  --with-http_ssl_module \                                  #支持ssl认证模块
  --with-http_flv_module \                                  #支持流媒体
  --with-http_stub_status_module \                          #支持统计页面
  --with-http_gzip_static_module \                          #支持页面压缩
  --http-client-body-temp-path=/var/tmp/nginx/client/ \     #用户请求主体缓存目录
  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \            #代理数据
  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \           #fastcgi
  --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \             #支持python框架
  --http-scgi-temp-path=/var/tmp/nginx/scgi \               #scgi
  --with-pcre                                               #pcre
# make && make install

说明:在安装过程中不同的机器可能有些软件包的安装不同,在编译安装的过程可能会出现不同的报错信息,大家不用担心,依照错误提示安装所需要的软件包即可。如遇到问题可以留言,也可以自行在网上搜索。

4、为nginx提供SysV init脚本:

新建文件/etc/rc.d/init.d/nginx,内容如下:

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
                                                                                                                                                                                                                                                                                    
# Source function library.
. /etc/rc.d/init.d/functions
                                                                                                                                                                                                                                                                                    
# Source networking configuration.
. /etc/sysconfig/network
                                                                                                                                                                                                                                                                                    
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
                                                                                                                                                                                                                                                                                    
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
                                                                                                                                                                                                                                                                                    
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
                                                                                                                                                                                                                                                                                    
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
                                                                                                                                                                                                                                                                                    
lockfile=/var/lock/subsys/nginx
                                                                                                                                                                                                                                                                                    
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
                                                                                                                                                                                                                                                                                    
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
                                                                                                                                                                                                                                                                                    
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
                                                                                                                                                                                                                                                                                    
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
                                                                                                                                                                                                                                                                                    
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
                                                                                                                                                                                                                                                                                    
force_reload() {
    restart
}
                                                                                                                                                                                                                                                                                    
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
                                                                                                                                                                                                                                                                                    
rh_status() {
    status $prog
}
                                                                                                                                                                                                                                                                                    
rh_status_q() {
    rh_status >/dev/null 2>&1
}
                                                                                                                                                                                                                                                                                    
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

而后为此脚本赋予执行权限:

# chmod +x /etc/rc.d/init.d/nginx

添加至服务管理列表,并让其开机自动启动:

# chkconfig --add nginx
# chkconfig nginx on

而后就可以启动服务并测试了:

# service nginx start
# vim /usr/html/index.html
    <h1>master.wangej.com</h1>
# vim /usr/html/index.html
    <h1>slaves.wangej.com</h1>

实例如图:

三、安装keepalive

安装规划:高可用的流动IP为172.16.12.254

1、安装软件

因为在rhel6.4中已经自带的有keepalive,所以我们这里就直接使用yum安装,请自行配置好yum源(keepalive有依赖关系,如果不能自行解决依赖关系就请使用yum安装)

# yum install keepalived -y

2、修改配置文件

# cd /etc/keepalived/
# vim keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
        root@localhost
   }
   notification_email_from root@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "killall -0 nginx"
    interval 2
    weight -2
    fall 2
    rise 1
}
vrrp_script chk_schedown {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 2
   weight -2
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 61
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass nginxpass
    }
    virtual_ipaddress {
        172.16.12.254/16 dev eth0 label eth0:0
    }
    track_script {
        chk_nginx
        chk_schedown
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

在从服务器上只需修改以下两项即可:

state BACKUP
priority 100

3、提供一个手动停止节点的脚本

# vim notify.sh                                 #创建一个脚本
#!/bin/bash
# Author: WangEJ <ywhwzhang@gmail.com>
# description: An example of notify script
#
ifalias=${2:-eth0:0}
interface=$(echo $ifalias | awk -F: '{print $1}')
vip=$(ip addr show $interface | grep $ifalias | awk '{print $2}')
#contact='ywhwzhang@gmail.com'
contact='root@localhost'
workspace=$(dirname $0)
notify() {
    subject="$ip change to $1"
    body="$ip change to $1 $(date '+%F %H:%M:%S')"
    echo $body | mail -s "$1 transition" $contact
}
case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        /etc/rc.d/init.d/nginx restart
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: $(basename $0) {master|backup|fault}'
        exit 1
    ;;
esac

添加到开机启动的服务列表中:

# chkconfig keepalived on

接下来就可以启动服务,测试服务:

# service keepalived start

接下来我们手动关闭主节点,将IP流转到从节点上测试一下:

同时观察一下两个节点的IP状况:

四、补充说明

   至此我们基于nginx的keepalive高可用服务就已经搭建完成,如果诸位有什么疑问,或者文章中有什么疏漏的话请留言,大家一起共同讨论,共同进步!

更多相关文章
  • nginx+keepalived+proxy_cache实现nginx高可用及高速缓存
    nginx+ keepalived+proxy_cache实现nginx高可用及高速缓存环境:master: 10.10.0.224slave: 10.10.0.225real server 1: 10.10.0.221real server 2: 10.10.0.226vip: 10.10.0.2 ...
  • keepalived整合lvs实现nginx高可用负载均衡1.简介 LVS(Linux Virtual Server) 是Linux虚拟服务器,可以把多台服务器虚拟为一个虚拟IP,同时实现各种负载均衡算法Keepalived是基于LVS,并与LVS高度融合的,监控LVS下所有真实服务器健康状态,并通 ...
  • 使用keepalived打造轻量级的lvs高可用集群一.VRRP协议VRRP: Virtual Routing Redundent Rrotocol  虚拟路由冗余协议学过网络的朋友都知道,网络在设计的时候必须考虑到冗余容灾,包括线路冗余,设备冗余等,防止网络存在单点故障,那在路由器或三层交换机处实 ...
  • HA专题: corosync+pacemaker实现nginx高可用前言这几天都会学习高可用集群, 也会将其中的一些实验写出来分享给大家, 这个专题估计会写5篇左右, p.s: 写博客很累的实验介绍这次的实验比较简单, 在CentOS7使用corosync+pacemaker实现两个节点的nginx ...
  • keepalived对nginx高可用演练脚本 参考文章:http://deidara.blog.51cto.com/400447/302402/ .安装nginx.keepalived.epel- ]; ];.故障演练 killall nginx tailf /var/log/messages # ...
  • 一.理论·HA高可用,又被叫做双机热备.·高可用原理:两台机器A和B,正常是A提供服务,B闲置,当A宕机或服务宕掉,切换到B继续提供服务,使用心跳进行通信和选举·heartbeat原理:心跳检测和资源接管两个部分.集群中的主机互相发送报文,告诉对方自己当前的状态,如果在一定时间内未收到对方报文,认定 ...
  • nginx高可用负载均衡配置
    Nginx+keepalived 实现高可用负载均衡集群一.Nginx简介Nginx ("engine x") 是一个高性能HTTP和反向代理 服务器,也是一个 IMAP/POP3/SMTP 服务器. Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler ...
  • keepalived入门之nginx高可用部署(应用篇)
      我们常常遇到这样一些应用环境:客户端通过访问nginx,nginx再通过反向代理将后端web server运行的业务反馈给客户端,但是如果nginx server出现宕机或者其他bug导致业务不能正常运营,所以为了不影响业务正常运营,我们引进了keepalive+nginx组合,来保证整个系统的 ...
一周排行
  • 在此说一下本渣对莫队算法思想的一些浅薄理解 莫队算法的思想就是对真个区间的分块,然后按照每块来分别进行计算,这样最终的复杂度可以达到n*sqrt(n) 小Z的袜子是一道非常经典的题目.:题目链接http://acm. ...
  • 云服务最终结果是否接近真实不仅取决于数据量更取决于数据维度的多少.通过大量接入融云云服务的SDK,基本覆盖了市面所有的App分类,全面的服务于网民在日常浏览.搜索.购买.社交的所有数据,是配得上大数据和云服务的称呼的 ...
  • 最近实在是太忙了,这篇整整就推迟了1个月了,实在是对不起.之前本打算这个模块就结束了,文件操作就不写了,但是文件操作又是一个很重要的东西,而且也刚好能够总结之前我们学习的所有知识.同时也为了将文件操作这个初学者认为很 ...
  • 日志文件的分类§ 内核及系统日志ü 由系统服务rsyslogd统一进行管理,日志格式基本相似§ 用户日志ü 记录系统用户登录及退出系统的相关信息§ 程序日志ü 由各种应用程序独立管理的日志文件,记录格式不统一软件包名 ...
  • lsnrctl start提示:The listener supports no servicesThe command completed successfully这样启动后远程连接会造成oracle ORA-12 ...
  • 当在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching.这个问题,貌似有不少人在问,不过都没有看到有什么很好解决的办法.那么我来谈谈这个问题.一.通常情况 ...
  • 时间过的真快,转眼又是一年.翻了一下以前十一回家的经历,最早是2009年,而且一口气写了五篇.那次是第一次选择十一回家帮着过秋.这么一选择到今年就坚持了五年. 先前计划十一回家的时候,刘哥说:打个比方,你现在一天能创 ...
  • 内核配置,第 1 部分 安装之后,应该有一个 "iptables" 命令可供使用,还有一个方便的 iptables 帮助页面("man iptables").好:现在只需要确保 ...
  • Oracle开发专题之:分析函数(OVER) 1Oracle开发专题之:分析函数2(Rank,Dense_rank, row_number) 6Oracle开发专题之:分析函数3(Top/BottomN.First/ ...
  • Memcached服务端安装(memcached是memcache的升级版)yum install memcached //安装 /usr/bin/memcached -d -l 127.0.0.1 -p 11211 ...