nginx并发连接数和响应时间抓取shell笨拙版

并发连接数和响应时间抓取想法
1.数据图使用cacti for nginx插件进行记录
2.nginx编译stub_status模块,log记录添加[$time_local]和$request_time字段
3.并发连接数定期curl status页面获得
4.响应时间使用本地时间戳做条件在日志中匹配得到(未改造nginx记录日期格式)

本地抓取shell笨拙基础版
1.根据时间戳抓取响应时间和并发连接数做join
2.nginxstatus current显示当前的并发连接数,响应时间,一秒钟内的响应时间均值和最大值nginxstatus 3.detail显示过去24小时内的每一分钟内的并发连接数和响应时间均值
4.nginxstatus crond每秒钟记录一次并发连接数
5.nginxstatus help
#!/bin/bash
####nginxstaus.sh####
QPS=`curl -s status.test.com |awk '{ if( $1~/Active/ ) print $NF}'`
DATE=`date +"%d/%b/%Y:%T"`
LAST_DATE=`date -d '-1 day' +"%d/%b/%Y:%T"`
LOG="/var/nginxlog/access.log"
LOG1=/tmp/logs
AVG_RT=`grep $DATE $LOG |awk -F "-" '{ total+=$5 }END{ if( $total!=0 ) print total/NR }'`
MAX_RT=`grep $DATE $LOG |awk -F "-" '{ print $5 }' |sort -nr |head -1`
DAYS_AVG=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F "-" '{ total+=$5 } END{ if( $total!=0 ) print "avg_rt = ", total/NR }'`
QPS_AVG=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk '{ total+=$2 } END{ if( $total!=0 ) print "qps_rt = ", total/NR }'`
DAYS_MAX=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F "-" '{ print $5 }' | sort -nr | head -1`
QPS_MAX=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk '{ print $2 }' | sort -nr | head -1`
case $1 in
current )
echo "$DATE qps:$QPS avg_rt:$AVG_RT max_rt:$MAX_RT"
;;
detail )
echo -e "time   rt  qps\n----------------"
join <( sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F '[[ :]+' '{k=$4":"$5":"$6;a[k]+=$NF;b[k]++}END{for(i in a)if( $a[i]!=0 ) print i,a[i]/b[i]}' |sort -t : -k1n ) <( sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk -F "/|:| " '{k=$3":"$4":"$5;a[k]+=$NF;b[k]++}END{for(i in a)if( $a[i]!=0 ) print i,a[i]/b[i]}' |sort -t : -k1n )
echo -e "\n----------------\n$DAYS_AVG $DAYS_MAX $QPS_AVG $QPS_MAX"
;;
crond )
echo "$DATE $QPS" >>$LOG1
;;
help )
echo "useage current | detail | blank | help |crond"
;;
esac

更多相关文章
  • C#WinForm之DOTA2英雄搭配助手网页抓取+在线绿色版+源码开放
    睡不着,无聊......再整理点好玩的出来.先上图 效果 碎碎念 自从13级后打出DOTA2的天梯积分以来简直是逆水行舟不进则退啊,室友已经高呼着被游戏玩了!!结果怒删游戏 其实我也发现这游戏不合适我玩…天梯里场场被各种选英雄针对,普通场又是剑圣.斧王横行.加之本人比较懒,不爱看视频,场均10死那是 ...
  • 完全原创,自己写的一个脚本,Nginx前20个访问IP的抓取,执行脚本后,会不断的提取日志,直接你输入0后才会停止,否则会一直循环下去,时间可以自己定,脚本如下: #!/bin/bash# date 2013-04-24# Liuyang# nginx log file directorynginx ...
  • 自动发送密码抓取远程日志.在linux系统中,如何用shell脚本抓取远程日志?分析线上的日志会有一个困境,机器太多,如果每台都登录上去看不太现实,但是下载下来更麻烦因为每台SCP都要求输入密码.于是我便写了一个自动抓取远程日志的脚本,实现在基本功能.代码:#!/usr/bin/expect -fi ...
  • 今天,大数据部老大交给我一项任务——抓取股票历史数据.于是乎,我自行在网上找了一下,发现wget真真是一个非常强大的linux下载工具.我已经被深深震撼到了.下面叙述今天的一些过程,还是比较坎坷的. 首先,我利用公司现在存在的股票数据,使用hive查询所有的股票代码并导入本地: hive -e -- ...
  • Golang实现webapi接口调用及web数据抓取getpost模式
    前沿:    继续扩展我的golang服务端,这边有些数据库是没有权限的,对方给了我webservices的接口,针对异常的数据,我要去抓数据,再次分析,golang貌似没有python那么多的模拟浏览器访问的模块,还好默认的http就支持. 功能一点都不必urllib2 差...    正题!!! ...
  •  一.单独抓取文件中ip地址,文件内容是Mar 31 07:53:20 drserver2 spamdyke[27749]: ALLOWED from: [email protected] to: [email protected] origin_ip: 71.229.51. ...
  • Scrapy爬虫实例抓取豆瓣小组信息并保存到mongodb中
    这个框架关注了很久,但是直到最近空了才仔细的看了下 这里我用的是scrapy0.24版本先来个成品好感受这个框架带来的便捷性,等这段时间慢慢整理下思绪再把最近学到的关于此框架的知识一一更新到博客来.最近想学git 于是把代码放到 git-osc上了: https://git.oschina.net/ ...
  • 对抓取网页的脚本的研究
    对抓取网页的脚本http://life2death.blog.51cto.com/7550586/1657133 的研究:声明:本人只是拿来学习研究,谢谢浮夸往事大神.一道企业shell编程实战题 http://oldboy.blog.51cto.com/2561410/1657042本脚本对htt ...
一周排行
  • 卸载SCCM2012R2层次结构中的PirmarySite
    ============================================= ...
  • 钟君万能八条口诀: 1.领导重视.提高认识 2.加强宣传.营造氛围 3.教育培训.提高素质 4.健全政策法规.完善制度 5.组织协调.形成机制 6.增加投入.依靠科技 7.加强监管.全面落实 8.总结反思.借鉴经验 ...
  • 构建postfix邮件服务器邮件服务器的角色及使用的协议MTA(邮件传输代理):一般被称为邮件服务器软件.MTA软件负责接收客户端软件发送的邮件并将邮件传输给其他的MTA程序.MUA(邮件用户代理):一般北城为邮件客 ...
  • 这几天颇感迷茫,于是决定静下心来啃书. 以下内容来自<C# in depth>第二版,且主要是我个人的总结. 委托(delegate)是什么 从C++的方面来讲,委托即函数指针 所以,委托可以: 指向一个 ...
  • 很多当程序员这一行当的,可以天天坐在舒适的办公室里,其实我们生活在方寸世界里, 时间久了我们的眼光.我们的心态多少会有一些扭曲.空气的污染已经离我们越来越近了,以前很少有雾霾天,现在人间天堂杭州也有不少雾霾天气了,我 ...
  • 安装Nginx程序,一般有三种安装方式:1.直接网络安装:2.下载rpm包,上传至服务器进行安装:3.通过原代码编译安装:一.安装基础支持套件yum -y install gccyum -y install open ...
  • "长白之春爱心晚会"昨晚上演,小沈阳引爆春城夜  -16 1     来源:新文化报  Super Junior-M人气高涨曾宝仪(右)主持晚会    昨日19时,随着震耳的音乐 ...
  • FIM2010的配置及应用二
    FIM2010的配置及应用(二)前面章节我们介绍了FIM2010的全新安装,今天主要介绍F ...
  •        最近遇到了一件事,本想晚几天写,后来一想,晚点写会遗忘一些事情和细节,最好在自己大脑记忆最清晰时,记录和叙述这件事.算是给自己2012年进行一次小的总结.       本人进的一家公司是服务外包公司,在 ...
  • 嵌入式系统C编程之堆栈回溯(二)
    前言      本文作为<嵌入式系统C编程之堆栈回溯>的补充版.文中涉及的代码 ...