nginx并发连接数和响应时间抓取shell笨拙版

并发连接数和响应时间抓取想法
1.数据图使用cacti for nginx插件进行记录
2.nginx编译stub_status模块,log记录添加[$time_local]和$request_time字段
3.并发连接数定期curl status页面获得
4.响应时间使用本地时间戳做条件在日志中匹配得到(未改造nginx记录日期格式)

本地抓取shell笨拙基础版
1.根据时间戳抓取响应时间和并发连接数做join
2.nginxstatus current显示当前的并发连接数,响应时间,一秒钟内的响应时间均值和最大值nginxstatus 3.detail显示过去24小时内的每一分钟内的并发连接数和响应时间均值
4.nginxstatus crond每秒钟记录一次并发连接数
5.nginxstatus help
#!/bin/bash
####nginxstaus.sh####
QPS=`curl -s status.test.com |awk '{ if( $1~/Active/ ) print $NF}'`
DATE=`date +"%d/%b/%Y:%T"`
LAST_DATE=`date -d '-1 day' +"%d/%b/%Y:%T"`
LOG="/var/nginxlog/access.log"
LOG1=/tmp/logs
AVG_RT=`grep $DATE $LOG |awk -F "-" '{ total+=$5 }END{ if( $total!=0 ) print total/NR }'`
MAX_RT=`grep $DATE $LOG |awk -F "-" '{ print $5 }' |sort -nr |head -1`
DAYS_AVG=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F "-" '{ total+=$5 } END{ if( $total!=0 ) print "avg_rt = ", total/NR }'`
QPS_AVG=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk '{ total+=$2 } END{ if( $total!=0 ) print "qps_rt = ", total/NR }'`
DAYS_MAX=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F "-" '{ print $5 }' | sort -nr | head -1`
QPS_MAX=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk '{ print $2 }' | sort -nr | head -1`
case $1 in
current )
echo "$DATE qps:$QPS avg_rt:$AVG_RT max_rt:$MAX_RT"
;;
detail )
echo -e "time   rt  qps\n----------------"
join <( sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F '[[ :]+' '{k=$4":"$5":"$6;a[k]+=$NF;b[k]++}END{for(i in a)if( $a[i]!=0 ) print i,a[i]/b[i]}' |sort -t : -k1n ) <( sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk -F "/|:| " '{k=$3":"$4":"$5;a[k]+=$NF;b[k]++}END{for(i in a)if( $a[i]!=0 ) print i,a[i]/b[i]}' |sort -t : -k1n )
echo -e "\n----------------\n$DAYS_AVG $DAYS_MAX $QPS_AVG $QPS_MAX"
;;
crond )
echo "$DATE $QPS" >>$LOG1
;;
help )
echo "useage current | detail | blank | help |crond"
;;
esac

更多相关文章
  • C#WinForm之DOTA2英雄搭配助手网页抓取+在线绿色版+源码开放
    睡不着,无聊......再整理点好玩的出来.先上图 效果 碎碎念 自从13级后打出DOTA2的天梯积分以来简直是逆水行舟不进则退啊,室友已经高呼着被游戏玩了!!结果怒删游戏 其实我也发现这游戏不合适我玩…天梯里场场被各种选英雄针对,普通场又是剑圣.斧王横行.加之本人比较懒,不爱看视频,场均10死那是 ...
  • 完全原创,自己写的一个脚本,Nginx前20个访问IP的抓取,执行脚本后,会不断的提取日志,直接你输入0后才会停止,否则会一直循环下去,时间可以自己定,脚本如下: #!/bin/bash# date 2013-04-24# Liuyang# nginx log file directorynginx ...
  • 自动发送密码抓取远程日志.在linux系统中,如何用shell脚本抓取远程日志?分析线上的日志会有一个困境,机器太多,如果每台都登录上去看不太现实,但是下载下来更麻烦因为每台SCP都要求输入密码.于是我便写了一个自动抓取远程日志的脚本,实现在基本功能.代码:#!/usr/bin/expect -fi ...
  • 今天,大数据部老大交给我一项任务——抓取股票历史数据.于是乎,我自行在网上找了一下,发现wget真真是一个非常强大的linux下载工具.我已经被深深震撼到了.下面叙述今天的一些过程,还是比较坎坷的. 首先,我利用公司现在存在的股票数据,使用hive查询所有的股票代码并导入本地: hive -e -- ...
  • Golang实现webapi接口调用及web数据抓取getpost模式
    前沿:    继续扩展我的golang服务端,这边有些数据库是没有权限的,对方给了我webservices的接口,针对异常的数据,我要去抓数据,再次分析,golang貌似没有python那么多的模拟浏览器访问的模块,还好默认的http就支持. 功能一点都不必urllib2 差...    正题!!! ...
  •  一.单独抓取文件中ip地址,文件内容是Mar 31 07:53:20 drserver2 spamdyke[27749]: ALLOWED from: [email protected] to: [email protected] origin_ip: 71.229.51. ...
  • Scrapy爬虫实例抓取豆瓣小组信息并保存到mongodb中
    这个框架关注了很久,但是直到最近空了才仔细的看了下 这里我用的是scrapy0.24版本先来个成品好感受这个框架带来的便捷性,等这段时间慢慢整理下思绪再把最近学到的关于此框架的知识一一更新到博客来.最近想学git 于是把代码放到 git-osc上了: https://git.oschina.net/ ...
  • 对抓取网页的脚本的研究
    对抓取网页的脚本http://life2death.blog.51cto.com/7550586/1657133 的研究:声明:本人只是拿来学习研究,谢谢浮夸往事大神.一道企业shell编程实战题 http://oldboy.blog.51cto.com/2561410/1657042本脚本对htt ...
一周排行
  • IIS 6 出于安全考虑, 默认最大请求200K(也即最大提交需要的, 默认为 204800 4. 启动 IIS Admin Service 
  • 转Struts2入门示例教程
    原文地址:http://blog.csdn.net/wwwgeyang777/articl ...
  • 1.去掉“用户名”注册 a.去掉提交 user_passport.dwt页面去掉 <input name="username" type="text" size=&quo ...
  • 怎样把一天当十天用?制定科学合理的复习计划在复习计划里一定要明确一点:多长时间内,完成什么内容的复习,并且要尽量将这样的计划做细一些,最好细致到一周内(甚至一天内)完成什么内容.这样详细的计划会让你的复习更有目标感, ...
  • 这几天连续遇到交换机端口err-disabled,没在意,今天竟然在关键链路上出现了这个情况,用show inter gi0/17的时候看到端口关闭,括号里面有这个提示,看来不细心会带来***烦,如何启用因错误而锁死 ...
  •     最近,好多朋友都说我的QQ游戏不能玩,有时会蓝屏,还有死机,首先和他们进行了硬盘扫描,内存检测都通过了,就怀疑是系统中毒了,给他们重新安装了一下问题解决了.但是但是还有一种问题就是QQ游戏频繁要升级,还有好多 ...
  • 最近公司的服务器太慢~于是开始对很多地方的代码进行修改~当然也包括分页这块~以前公司的网站是用ASP+SQL2000开发的,所以基本上都没有用上存储过程,在数据渐渐曾大的时候,显然很多地方都需要优化,我个人认为ASP ...
  • 首先,是winphone项目. 其次,debug下是可以的,但是release和debug有那么点不同,so...采取了如下做法: 方法1:卸载/重装vs,失败,但是发现win8可以给项目打断点,winphone不可 ...
  • 修改sys密码与nbu备份脚本密码后,nbu备份报密码无效
    公司要求口令强化,在修改sys密码后nbu的.sh脚本connect备份归档的sys/pa ...
  • 清除远程桌面连接中的历史信息
    在使用远程控制后,在远程桌面连接上就会出现你上一次连接过的IP地址.系统会记录你每次成功连 ...