前言
Apache Bench是一个简单易用的压力测试工具,在这里我不想多讲。今天主要说的是写一个py脚本来自动化测试过程,以及中间遇到的一些奇葩问题。
测试脚本
python
#!/usr/bin/env python # encoding: utf-8 import sys import subprocess as sub import json import re import time store=open(sys.argv[1],'w') if len(sys.argv)>2: total=sys.agrv[2] else: total=10000 if len(sys.argv)>3: hostPath=sys.argv[3] else: hostPath='http://127.0.0.1:3000/' #url=['index','str','json','read','write','chain'] #cocurrency=[8,16,32,64,128,256] url=['str','json','chain'];cocurrency=[16] result=dict.fromkeys(url,{}) def parseAB(src,dst): src=src.split('\n') pattern=re.compile(r'\d+\.{0,1}\d{0,10}') for i in range(15,len(src)-10): if(src[i].count(':')==0): continue tmp=src[i].split(':') key=tmp[0] data=pattern.findall(tmp[1]) if not data: continue elif(len(data)>1): dst[key]=[] for j in data: dst[key]=dst[key]+[float(j)] else: dst[key]=float(data[0]) dst['percentage']={} for i in range(len(src)-10,len(src)): tmp=pattern.findall(src[i]) if(len(tmp)!=2): continue dst['percentage'][int(tmp[0])]=int(tmp[1]) return dst for item in url: for c in cocurrency: child=sub.check_output('ab -k -n '+str(total)+' -c '+str(c)+' '+hostPath+item,shell=True,close_fds=True) #child=sub.Popen('ab -k -n '+str(total)+' -c '+str(c)+' '+hostPath+item,shell=True,close_fds=True,stdout=sub.PIPE) result[item][c]={} parseAB(child,result[item][c]) time.sleep(5) store.write(json.dumps(result)); store.close()
最终得到了一个包含该框架所有测试信息的json文件,之所以采用json这种数据格式,是为了方便下一步处理。
解析脚本
python
#!/usr/bin/env python # encoding: utf-8 import sys import json basePath='' frame=['express'] data={} for f in frame: data[f]=json.loads(open(basePath+f+'.json','r').read()) url=data[frame[0]].keys() cocurrency=data[frame[0]][url[0]].keys() keyList=data[frame[0]][url[0]][cocurrency[0]].keys() print 'you can get these key: '+str(keyList) compare=dict.fromkeys(frame,dict.fromkeys(url,{})) for f in frame: for u in url: for k in keyList: dataType=type(data[f][u][cocurrency[0]][k]) if dataType==int or dataType==float: tmp=[] for c in cocurrency: tmp=tmp+[dataType(data[f][u][c][k])] compare[f][u][k]=tmp elif dataType==dict: percent=data[f][u][cocurrency[0]][k].keys() tmp=dict.fromkeys(percent,[]) for p in percent: for c in cocurrency: tmp[p]=tmp[p]+[data[f][u][c][k][p]] compare[f][u][k]=tmp elif dataType==list: sta=['min','mean','sd','median','max'] tmp=dict.fromkeys(sta,[]) for i in range(len(sta)): for c in cocurrency: s=sta[i] tmp[s]=tmp[s]+[data[f][u][c][k][i]] compare[f][u][k]=tmp def get(f,u,k,index=None): if k=='percentage': if not index: return compare[f][u][k]['95'] else: return compare[f][u][k][str(index)] elif type(compare[f][u][k])==dict: if not index: return compare[f][u][k]['mean'] else: return compare[f][u][k][index] else: return compare[f][u][k]
最终暴露出一个API接口
python
import handle handle.get('express','json','Time per request') //return an array for all cocurrency you choose
遇到的问题
在测试过程中(开始的脚本不是这个样子的,有略微的改变)到16000+请求的时候会卡主,并最终抛出socket timeout的错误,错误码60.为什么会这样子呢?
是由于系统资源的限制,socket在unix系统下也是利用文件描述符的,socket的数量是有限制的,对于本人的MAC是16387,据说对于linux系统是32000+,好,找到了问题所在,看来是子进程退出时没有关闭socket。在python的bug报告里提到了这个问题,在subprocess的调用中加一句close_fds=True可以在子进程执行之前关闭除了0,1,2的所有文件描述符,自然就关闭了上次操作的所有sockets。
不过,这样依旧不行。。。为什么呢?因为不要忘了服务器是localhost,关闭这些文件描述符只是客户端的socket.close(),意味着文件描述符可以被再次分配,但服务端依然保有socket,它的资源没有被释放,限制依旧存在。想要立即释放,我们应该用socket.shutdown(),不过这样恐怕需要改写subprocess,显然蛋疼。
然后我就发现了我的测试语句
sh
ab -c 8 -n 10000 http://127.0.0.1:3000/json
对,木有用-k,keep-alive选项允许socket被复用,不只是用于一个http请求。同时我还在循环末尾加了一句sleep以等待资源被释放。剩下的就只能听天由命了。
还有一个非常常见的错误。
sh
ab -c 8 -n 10000 http://localhost:3000/json
写成这样也会报错哦!
结语
最后向大家提一个问题,为什么用Jmeter做压力测试的时候,吞吐量会一开始很高,然后一直在下降?
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。