nginx并发连接数和响应时间抓取shell笨拙版

并发连接数和响应时间抓取想法
1.数据图使用cacti for nginx插件进行记录
2.nginx编译stub_status模块,log记录添加[$time_local]和$request_time字段
3.并发连接数定期curl status页面获得
4.响应时间使用本地时间戳做条件在日志中匹配得到(未改造nginx记录日期格式)

本地抓取shell笨拙基础版
1.根据时间戳抓取响应时间和并发连接数做join
2.nginxstatus current显示当前的并发连接数,响应时间,一秒钟内的响应时间均值和最大值nginxstatus 3.detail显示过去24小时内的每一分钟内的并发连接数和响应时间均值
4.nginxstatus crond每秒钟记录一次并发连接数
5.nginxstatus help
#!/bin/bash
####nginxstaus.sh####
QPS=`curl -s status.test.com |awk '{ if( $1~/Active/ ) print $NF}'`
DATE=`date +"%d/%b/%Y:%T"`
LAST_DATE=`date -d '-1 day' +"%d/%b/%Y:%T"`
LOG="/var/nginxlog/access.log"
LOG1=/tmp/logs
AVG_RT=`grep $DATE $LOG |awk -F "-" '{ total+=$5 }END{ if( $total!=0 ) print total/NR }'`
MAX_RT=`grep $DATE $LOG |awk -F "-" '{ print $5 }' |sort -nr |head -1`
DAYS_AVG=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F "-" '{ total+=$5 } END{ if( $total!=0 ) print "avg_rt = ", total/NR }'`
QPS_AVG=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk '{ total+=$2 } END{ if( $total!=0 ) print "qps_rt = ", total/NR }'`
DAYS_MAX=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F "-" '{ print $5 }' | sort -nr | head -1`
QPS_MAX=`sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk '{ print $2 }' | sort -nr | head -1`
case $1 in
current )
echo "$DATE qps:$QPS avg_rt:$AVG_RT max_rt:$MAX_RT"
;;
detail )
echo -e "time   rt  qps\n----------------"
join <( sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG |awk -F '[[ :]+' '{k=$4":"$5":"$6;a[k]+=$NF;b[k]++}END{for(i in a)if( $a[i]!=0 ) print i,a[i]/b[i]}' |sort -t : -k1n ) <( sed -n "\#'$LAST_DATE'#,\#'$DATE'#p"  $LOG1 |awk -F "/|:| " '{k=$3":"$4":"$5;a[k]+=$NF;b[k]++}END{for(i in a)if( $a[i]!=0 ) print i,a[i]/b[i]}' |sort -t : -k1n )
echo -e "\n----------------\n$DAYS_AVG $DAYS_MAX $QPS_AVG $QPS_MAX"
;;
crond )
echo "$DATE $QPS" >>$LOG1
;;
help )
echo "useage current | detail | blank | help |crond"
;;
esac

更多相关文章
  • C#WinForm之DOTA2英雄搭配助手网页抓取+在线绿色版+源码开放
    睡不着,无聊......再整理点好玩的出来.先上图 效果 碎碎念 自从13级后打出DOTA2的天梯积分以来简直是逆水行舟不进则退啊,室友已经高呼着被游戏玩了!!结果怒删游戏 其实我也发现这游戏不合适我玩…天梯里场场被各种选英雄针对,普通场又是剑圣.斧王横行.加之本人比较懒,不爱看视频,场均10死那是 ...
  • 完全原创,自己写的一个脚本,Nginx前20个访问IP的抓取,执行脚本后,会不断的提取日志,直接你输入0后才会停止,否则会一直循环下去,时间可以自己定,脚本如下: #!/bin/bash# date 2013-04-24# Liuyang# nginx log file directorynginx ...
  • 自动发送密码抓取远程日志.在linux系统中,如何用shell脚本抓取远程日志?分析线上的日志会有一个困境,机器太多,如果每台都登录上去看不太现实,但是下载下来更麻烦因为每台SCP都要求输入密码.于是我便写了一个自动抓取远程日志的脚本,实现在基本功能.代码:#!/usr/bin/expect -fi ...
  • 今天,大数据部老大交给我一项任务——抓取股票历史数据.于是乎,我自行在网上找了一下,发现wget真真是一个非常强大的linux下载工具.我已经被深深震撼到了.下面叙述今天的一些过程,还是比较坎坷的. 首先,我利用公司现在存在的股票数据,使用hive查询所有的股票代码并导入本地: hive -e -- ...
  • Golang实现webapi接口调用及web数据抓取getpost模式
    前沿:    继续扩展我的golang服务端,这边有些数据库是没有权限的,对方给了我webservices的接口,针对异常的数据,我要去抓数据,再次分析,golang貌似没有python那么多的模拟浏览器访问的模块,还好默认的http就支持. 功能一点都不必urllib2 差...    正题!!! ...
  •  一.单独抓取文件中ip地址,文件内容是Mar 31 07:53:20 drserver2 spamdyke[27749]: ALLOWED from: [email protected] to: [email protected] origin_ip: 71.229.51. ...
  • Scrapy爬虫实例抓取豆瓣小组信息并保存到mongodb中
    这个框架关注了很久,但是直到最近空了才仔细的看了下 这里我用的是scrapy0.24版本先来个成品好感受这个框架带来的便捷性,等这段时间慢慢整理下思绪再把最近学到的关于此框架的知识一一更新到博客来.最近想学git 于是把代码放到 git-osc上了: https://git.oschina.net/ ...
  • 对抓取网页的脚本的研究
    对抓取网页的脚本http://life2death.blog.51cto.com/7550586/1657133 的研究:声明:本人只是拿来学习研究,谢谢浮夸往事大神.一道企业shell编程实战题 http://oldboy.blog.51cto.com/2561410/1657042本脚本对htt ...
一周排行
  • 一.rsync客户端介绍# rsync --help Usage:    rsync [OPTION]... SRC [SRC]... DEST   or   rsync [OPTION]... SRC [SRC]. ...
  • bash脚本条件判断语句详细使用条件判断的使用方法及其相关示例:本文对详细介绍如下内容1,test语句2,if判断语句(单分支,多分支)3,case判断分支语句1,条件测试:test作用:Shell中的test命令用 ...
  • 经过一段时间的代码研究,准备对<英雄王座>的全套代码进行改造移植.第一步,将服务器端移植到64位LINUX上,数据库使用MYSQL或其分支,TBB或OPENMP支持,UNICODE支持.第二步,参照< ...
  • [转载] IT人为什么拿不到高薪 最近在论坛里看到很多人发牢骚,说薪水少,可在我看来,你们这样的人拿得到高薪才怪!我先问一句:这里有多少人是本科的?有多少人是正规本科的(不算自考,成考和专升本)?有多少人是有学位的? ...
  • Nyoj三国志(dijkstra+01背包)
    描述 <三国志>是一款很经典的经营策略类游戏.我们的小白同学是这款游戏的忠实玩 ...
  • 计算机网络分层模型 OSI分层模型:物理层.数据链路层.网络层.传输层.会话层.表示层.应用层: TCP/IP分层模型:物理+数据链路层.网络层.传输层.应用层: IP地址 IP地址是一个32位的整数.通常为了便于表 ...
  • rsync+inotify目录文件实时同步备份
    说明:192.168.1.2 (rsync+inotify)-----------FTP1 ...
  • 刚刚在QQ上有位做安全产品需求规划的朋友加我,说讨论下关于UTM和IPS的包装,即我们呈现在用户面前的"亮点".游侠个人认为,目前市面上的UTM和IPS实际上同质化非常严重,就是那么些功能,只不过 ...
  • 端口扫描nmap实用命令行技巧Nmap核心功能http://nmap.org/docs.html主机发现(Host Discovery)用于发现目标主机是否处于活动状态(Active).Nmap提供了多种检测机制,可 ...
  • 你电脑的办公环境和娱乐环境均存在严重的安全漏洞,你也不想你的原创文字被他人窃取,你也不希望你游戏的囧态被他人分享到网络.PC安全是打造网络环境安全的基础,PC用户习惯是PC安全和网络安全的最根本.