Linux上常用性能测试工具

性能测试的关注点

    QPS(QueryPerSecond)每秒查询率，即每秒处理请求的个数
    该值过小说明，应用处理能力不够，或者并发不够，没有充分利用cpu
    TPR(Time per request)每个请求的平均响应时间
    该值过小说明，应用处理能力不够
    median 中位数，即50%请求的响应时间
    TR(Transfer rate)网络传输率
    改值过大，说明响应内容太多，网络传输可能成为瓶颈，一般虚拟机12M/s，实体机45M/s
    负载情况，通过命令uptime 查看

    [[e-mail]6 ~]$ uptime
    11:27:16 up 91 days, 23:28,  1 user,  load average: 0.00, 0.00, 0.00

    如果负载过高，再具体分析cpu,内存，io等找到系统瓶颈
    查看gc情况

    [[e-mail]6 /home/q/tools/devbin]$ ./gc.sh 12652
      S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297
      6.28   0.00  12.86   1.53  17.68     40    0.297     0    0.000    0.297

    主要关注FGC，如果FGC次数过多说明有大对象没有及时释放，需要review代码

#############################################  apache ab #################################################

简介

ab全称为apache benchmark是apache自带的一个性能测试工具，位于apache安装目录下的bin目录下
常用命令

通过 ab -h 可以查看所有命令参数，下面我对常用的参数进行说明：
-n requests     Number of requests to perform          //在测试会话中所执行的请求个数（请求总数）。默认时，仅执行一个请求
-c concurrency  Number of multiple requests to make    //一次产生的请求个数（并发数） 默认是一次一个
-t timelimit    Seconds to max. wait for responses     //测试所进行的最大秒数。其内部隐含值是-n 50000。它可以使对服务器的测试限制在一个固定的总时间以内。默认时，没有时间限制。
-p postfile     File containing data to POST           //包含了需要POST的数据的文件.
-T content-type Content-type header for POSTing        //POST数据所使用的Content-type头信息。
-v verbosity    How much troubleshooting info to print //设置显示信息的详细程度 - 4或更大值会显示头信息， 3或更大值可以显示响应代码(404, 200等), 2或更大值可以显示警告和其他信息。
-V 显示版本号并退出。
-w              Print out results in HTML tables       //以HTML表的格式输出结果。默认时，它是白色背景的两列宽度的一张表。
-i              Use HEAD instead of GET                // 执行HEAD请求，而不是GET

ab -c 5 -n 10000 'http://l-ota.h.dev.cn6:8080/basewrapper/detail.json?hid=65501&d1=2013-08-27&d2=2013-08-29'

标示5个线同时访问url,一共访问10000次
返回内容

Server Software:        Apache-Coyote/1.1
Server Hostname:        l-ota.h.dev.cn6
Server Port:            8080

Document Path:          /basewrapper/detail.json?hid=65501&d1=2013-08-27&d2=2013-08-29
Document Length:        482 bytes           //文档大小

Concurrency Level:      5                   //并发数
Time taken for tests:   10.538028 seconds    //整个测试持续时间
Complete requests:      10000                //完成请求数
Failed requests:        0
Write errors:           0
Total transferred:      6940000 bytes        //网络传输量
HTML transferred:       4820000 bytes        //html网络传输量
Requests per second:    948.94 [#/sec] (mean)  //平均每秒处理请求数 qps
Time per request:       5.269 [ms] (mean)      //平均每个请求的响应时间
Time per request:       1.054 [ms] (mean, across all concurrent requests) //每个请求实际运行的平均值
Transfer rate:          643.10 [Kbytes/sec] received    //平均每秒网络上的流量，可以帮助排除是否存在网络流量过大导致响应时间延长的问题

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.3      0      10
Processing:     1    4   3.4      4     175
Waiting:        1    4   3.3      4     175
Total:          1    4   3.4      4     176
//网络上消耗的时间的分解

Percentage of the requests served within a certain time (ms)
  50%      4
  66%      5
  75%      6
  80%      6
  90%      7
  95%      9
  98%     11
  99%     13
 100%    176 (longest request)
//所有请求的响应情况。在场景中每个请求都有一个响应时间，其中50％的用户响应时间小于4 毫秒,最大的响应时间小于176毫秒

注意事项

不支持参数化
url必须在引号内，否则只识别url?后的第一个参数

 
#############################################  http_load #################################################
简介

安装
一、获得http_load

httpd_load的官方站是：http://www.acme.com/software/http_load/，LinuxVPS学习者直接提供了下载地址（文件来自官方）
二、解压并编译http_load
yum -y install gcc gcc-c++            #安装GCC编辑器
tar xzvf http_load-12mar2006.tar.gz   #解压http_load压缩包
cd http_load-12mar2006                #进入http_load目录
mkdir /usr/local/man                  #创建目录
make && make install                  #编译并安装

http_load是基于linux平台的性能测试工具，它体积非常小，仅100KB。它以并行复用的方式运行，可以测试web服务器的吞吐量与负载。
可以通过读取文件的方式实现参数化。
常用命令

-p parallel 并发的用户进程数
-f fetches 总计的访问次数
-r rate         每秒的访问频率
-s seconds 连续的访问时间
url   网站连接地址或url文件

/home/q/http_load-12mar2006/http_load -p 5 -f 10000 bw_url
标示5个线同时访问bw_url文件,一共访问10000次

http_load -parallel 50 -s 10 urls.txt
这段命令行是同时使用50个进程，随机访问urls.txt中的网址列表，总共访问10秒。

http_load -rate 50 -f 5000 urls.txt
每秒请求50次，总共请求5000次停止。

返回内容

10000 fetches, 5 max parallel, 3.4457e+06 bytes, in 10.2434 seconds     //总持续时间，总传输率
344.57 mean bytes/connection                                            //每次请求平均数据量
976.235 fetches/sec, 336381 bytes/sec                                   //qps:976,每秒传输率：3.2M/s
msecs/connect: 0.0632683 mean, 3.198 max, 0 min                         //每次连接平均，最大，最小响应时间
msecs/first-response: 5.058 mean, 95.144 max, 0 min                     //每次请求平均，最大，最小响应时间
HTTP response codes:                                                    //状态码
  code 200 -- 10000

注意事项

    读取的文件一般来自syslog，先摘取要筛选的请求：
    awk '{print $7}' access.2013-08-22.log |grep commission/detail.htm > detail.txt
    排序去重
    awk '{print $1}' detail.txt |sort|uniq >detailn.txt
    替换url
    awk '{sub("/api/directsell/commission/detail.htm","http://l-ota.h.dev.cn6:8080/basewrapper/detail.json")}{print$1}'  detailn.txt >  basewrapper
    读取的文件不宜过大，否则影响压测效果，所以当文件太大时，从里面选取一部分
    awk '{if(NR%120 == 0) print $1}' basewrapper >bw_url
    文件按顺序读取的，读到文件末尾还有请求数，会重新读取一遍。

#############################################  jmeter #################################################

简介

能够对HTTP、webservice和FTP服务器进行压力和性能测试，也可以对任何数据库进行同样的测试(通过JDBC).
支持可视化
输出格式丰富
快速开始

    创建线程组
    Ramp-Up Period(in seconds)：准备时长，即在一秒内启动五个线程。
    5个线程循环2000次，相当于5个线程一个请求10000次。
    创建sampler
    创建监听器
    执行结果

参数化

右键点击“detail_HTTP请求”，选择 添加配置原件->CSV data set config
选项说明：

Filename --- 参数项文件所在路径，如果该文件与*.jmx文件在同一路径则直接写文件名即可
File Encoding --- 文件的编译方法，一般为空
Vaiable Names --- 文件中各列所表示的参数项；各参数项之间利用逗号分隔；参数项的名称应该与HTTP Request中的参数项一致。
Delimiter --- 如文件中使用的是逗号分隔，则填写逗号；如使用的是TAB，则填写\t；
Recycle on EOF? --- True=当读取文件到结尾时，再重头读取文件                               False=当读取文件到结尾时，停止读取文件
Stop thread on EOF? --- 当Recycle on EOF?一项为False时起效；True=当读取文件到结尾时，停止进程

同时，“detail_HTTP请求”参数修改为：
如果想查看具体请求，响应内容，可以添加  监听器->查看结果树
返回内容

Samples :请求总数
Average :平均响应时间（ms）
Min     :最小响应时间（ms）
Max     :最大响应时间（ms）
Throughput ：qps
Kb/Sec:  网络传输率
Std.Dev.：所有取样器结果的响应时间标准差

#############################################  Siege #################################################
下载/安装
Siege时一个开放源代码项目：http://www.joedog.org/siege/

下载：
wgetftp://sid.joedog.org/pub/siege/siege-latest.tar.gz

安装：
#./configure ; make
#make install

#siege -help （如果有help出现，则已经安装成功）

siege包含了一组压力测试工具：
SIEGE (1) Siege是一个HTTP压力测试和评测工具.
使用样例：
任务列表：www.chedong.com.url文件
http://www.chedong.com/tech/
http://www.chedong.com/tech/acdsee.html
http://www.chedong.com/tech/ant.html
http://www.chedong.com/tech/apache_install.html
http://www.chedong.com/tech/awstats.html
http://www.chedong.com/tech/cache.html
http://www.chedong.com/tech/click.html
http://www.chedong.com/tech/cms.html
http://www.chedong.com/tech/compress.html
http://www.chedong.com/tech/cvs_card.html
http://www.chedong.com/tech/default.html
http://www.chedong.com/tech/dev.html
http://www.chedong.com/tech/gnu.html
….

siege -c 20 -r 2 -fwww.chedong.com.url
参数说明：
-c 20 并发20个用户
-r 2 重复循环2次
-fwww.chedong.com.url任务列表：URL列表

输出样例：

** Siege 2.59
**Preparing 20 concurrent users for battle. 这次“战斗”准备了20个并发用户
The server is now under siege.. done. 服务在“围攻”测试中：
Transactions: 40 hits 完成40次处理
Availability: 100.00 % 成功率
Elapsed time: 7.67 secs 总共用时
Data transferred: 877340 bytes 共数据传输：877340字节
Response time: 1.65 secs 相应用时1.65秒：显示网络连接的速度
Transaction rate: 5.22 trans/sec 平均每秒完成5.22次处理：表示服务器后台处理的速度
Throughput: 114385.92 bytes/sec 平均每秒传送数据：114385.92字节
Concurrency: 8.59 最高并发数 8.59
Successful transactions: 40 成功处理次数
Failed transactions: 0 失败处理次数

 

辅助工具：
增量压力测试：
为了方便增量压力测试，siege还包含了一些辅助工具：
bombardment (1)
是一个辅助工具：用于按照增量用户压力测试：
使用样例：
bombardment urlfile.txt 5 3 4 1
初始化URL列表：urlfile.txt
初始化为：5个用户
每次增加：3个用户
运行：4次
每个客户端之间的延迟为：1秒

输出成CSV格式：
siege2csv.pl (1)
siege2csv.pl将bombardment的输出变成CSV格式：
Time Data Transferred Response Time Transaction Rate Throughput Concurrency Code 200 (note that this is horribly broken.)
242 60.22 603064 0.02 4.02 10014.35 0.08
605 59.98 1507660 0.01 10.09 25136.05 0.12
938 59.98 2337496 0.02 15.64 38971.26 0.26
1157 60 2883244 0.04 19.28 48054.07 0.78

#############################################  Web Application Stress #################################################
http://www.microsoft.com/downloads/details.aspx?FamilyID=e2c0585a-062a-439e-a67d-75a89aa36495&displaylang=en

说明：

1. 在“settings”的功能设置中，一个是Stress level (threads)这里是指定程序在后台用多少线程进行请求，也就是相当于模拟多少个客户机的连接，更加形象的就是说设置多少轰炸的线程数。一般填写 500～1000，因为这个线程数是根据本机的承受力来设置的，如果你对自己的机器配置有足够信心的话，那么设置的越高，轰炸的效果越好。

 

2.在“Test Run Time”中来指定一次压力测试需要持续的时间，分为天、小时、分、秒几个单位级别，你根据实际情况来设置吧！

 

 

使用：

在工具中点右键，选择Add命令，增加了一个新的测试项目：New script，对它进行设置，在主选项中的server中填写要测试的服务器的IP地址[192.168.200.100]。在下方选择测试的Web连接方式，这里的方式Verb选择 get，path选择要测试的Web页面路径[/info.php]，

 

在“Settings”的功能设置中将Stress level (threads)线程数设置为1000。完毕后，点工具中的灰色三角按钮即可进行测试（如图4）。测试完毕，等待朋友把任务管理器以及连接查看的截图发过来！

 

攻 击开始后，朋友从任务管理器中可以看到CPU使用率已经达到100%，损耗率达到最大。在CMD窗口中使用命令netstat -an,可以看到我的IP地址在朋友服务器上的80端口进行了非常多的连接。而且它的Web网站已经打不开了，提示过多用户连接，达到了跟 D.O.S攻击一样的目的。

 

 

数据分析：
选择“View”菜单下的“Reports”命令，或单击工具栏上的 按钮，打开报告窗口，在左侧列表中展开相应的报告。

检查Socket Errors部分是否有任何的socket有关的错误（值不为0）。

Socket Errors
--------------------------------------------------------------------------------
Connect: 406
Send: 0
Recv: 306
Timeouts: 0

这里列出每种socket错误的解释：Connect——客户端不能与服务器取得连接的次数。如果这个值偏高，检查在客户端与服务器之间产生的任何潜在的错误。从每个客户端Ping服务器或telnet服务器的端口80验证你得到正确的回应；Send——客户端不能正确发送数据到服务器的次数。如果这个值偏高，检查服务器是否正确地工作着。在客户端打开一个浏览器然后手工点击站点页面验证站点正确地工作着；Recv——客户端不能正确从服务器接收数据的次数。如果这个值偏高，执行和Send错误相同的操作，还要检查一下如果你减低负载系数，错误是否跟着减少；Timeouts——超时的线程的数目，而且随后就关闭了。如果这个值偏高，在客户端打开一个浏览器，然后手工点击站点页面验证是否即使只有一个用户你的程序也会很慢。再做一个不同负载系数的压力测试，看看程序的潜在特征。

 

Result Codes
Code Description Count
================================================================================
200 OK 11058
NA HTTP result code not given 306
如果“socket”错误很低或为0，在左侧的报告列表中找到“Result Codes”部分。检查一下是否所有结果代码都是200，200表示所有请求都被服务器成功地返回。如果找到大于或等于400的结果，单击报告列表中的 “Page Data”节点，展开所有项目，查看每个脚本项在右边窗口页面数据的报告，找出出现错误的项目。

#############################################  webbench #################################################
wgethttp://blog.s135.com/soft/linux/webbench/webbench-1.5.tar.gz
tar zxvf webbench-1.5.tar.gz
cd webbench-1.5
make && make install

#webbench -c 100 -t 10http://192.168.200.100/info.php

参数说明：-c表示并发数，-t表示持续时间(秒)

root@ubuntu-desktop:/etc/nginx/sites-available# webbench -c 100 -t 10http://192.168.200.100/info.php
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.

Benchmarking: GEThttp://192.168.200.100/info.php
100 clients, running 10 sec.

Speed=19032 pages/min, 18074373 bytes/sec.
Requests: 3172 susceed, 0 failed.

#############################################  autobench #################################################
  exec函数族的使用  c语言中指针和数组指针
Httperf和autobench测试web服务器性能  2011-05-04 16:00:11|  分类： 性能 |  标签：httperf   |举报 |字号大
中
小 订阅
 

httperf是个web 服务器的性能测试工具
Step1) 
安装
cd /usr/local/src
tar xvzf httperf-0.9.0.tar.gz
cd httperf-0.9.0
./configure --prefix=/usr/local/httperf-0.9.0
make && make install
//此时只能在当前目录下用./httperf可以使用，如果要在所有地方都用，则修改一下路径。
到etc/profile文件中，加一句export PATH=/usr/local/httperf-0.9.0/src:PATH.然后注销一下计算机就可以了。

Step2) 测试
通过如下命令：
httperf --server xx.com \
        --port 80 \
        --uri /foreground/all_stars \
        --rate 100 \
        --num-conn 2000 \
        --num-call 1 \
        --timeout 5

rate是指每秒多少个请求数，num-conn指共发多少个请求 ，num-call每次连接发送的请求数通常为1

下面测试条件，我们来试试新浪

httperf --server sina.com.cn --num-conn 300 --rate 30
httperf --client=0/1 --server=sina.com.cn --port=80 --uri=/ --rate=30 --send-buffer=4096 --recv-buffer=16384 --num-conns=300 --num-calls=1
Maximum connect burst length: 1

Total: connections 300 requests 300 replies 300 test-duration 10.687 s

Connection rate: 28.1 conn/s (35.6 ms/conn, <=5 concurrent connections)
Connection time [ms]: min 34.0 avg 98.7 max 4073.1 median 57.5 stddev 314.3
Connection time [ms]: connect 28.9
Connection length [replies/conn]: 1.000

Request rate: 28.1 req/s (35.6 ms/req)
Request size [B]: 64.0

Reply rate [replies/s]: min 29.6 avg 29.7 max 29.8 stddev 0.1 (2 samples)
Reply time [ms]: response 69.8 transfer 0.0
Reply size [B]: header 379.0 content 231.0 footer 0.0 (total 610.0)
Reply status: 1xx=0 2xx=0 3xx=300 4xx=0 5xx=0

CPU time [s]: user 0.31 system 10.32 (user 2.9% system 96.6% total 99.5%)
Net I/O: 18.5 KB/s (0.2*10^6 bps)

Errors: total 0 client-timo 0 socket-timo 0 connrefused 0 connreset 0
Errors: fd-unavail 0 addrunavail 0 ftab-full 0 other 0

每秒回应最大请求数为29.7
最大并发数为5
平均响应时间为 69.8毫秒

httperf 会使用了，可是autobench是什么工具呢？原来autobench就是一个脚本工具，调用httperf执行autobench脚本，这样就可以自 动进行测试，而不需要自己手动输测试条件了，接下来在好好研究**tobench一番，原来还可以将测试产生的结果数据转换为png图形格式，很好。

需要安装如下源码包：
autobench-2.1.2.tar.gz
gd-2.0.34.tar.bz2
gnuplot-4.2.0.tar.gz
httperf-0.9.0.tar.gz
pcre-7.1.tar.bz2
pcre-devel-4.5-3.2.RHEL4.i386.rpm

安装前先确认是否安装过如下程序：

gcc gcc-c++ gcc-g77 flex bison autoconf automake bzip2-devel zlib-devel ncurses-devel libjpeg-devel
libpng-devel libtiff-devel freetype-devel pam-devel pcre pcre-devel ／／这些安装包单独装，要不然装不上。

安装GD2：
cd /usr/local/src
wgethttp://www.boutell.com/gd/http/gd-2.0.33.tar.gz
tar xzvf gd-2.0.33.tar.gz
cd gd-2.0.33
./configure --prefix=/usr/local/gd2
make
make install

echo "//usr/local/gd2/lib" >> /etc/ld.so.conf
ldconfig

安装texinfo-4.7：
cd /usr/local/src
wgethttp://ftp.gnu.org/gnu/texinfo/texinfo-4.8.tar.gz
tar zxvf texinfo-4.8.tar.gz
cd texinfo-4.8
./configure
make && make install

安装gnuplot：
cd /usr/local/src
wgethttp://nchc.dl.sourceforge.net/sourceforge/gnuplot/gnuplot-4.2.0.tar.gz
tar zxvf gnuplot-4.2.0.tar.gz
cd gnupolt-4.2.0
./configure \
--prefix=/usr/local/gnuplot \
--with-cwdrc --without-row-help \
--with-kpsexpand \
--with-gd=/usr/local/gd2
make && make install
／／直接yum，4。2。0找不到有一个image的函数。4。4。0里面没有kpsexpand。直接yum install gnuplot

安装httperf:
cd /usr/local/src
wgetftp://ftp.hpl.hp.com/pub/httperf/httperf-0.8.1.tar.gz
tar zxvf httperf-0.8.tar.gz
cd httperf-0.8
./configure --prefix=/usr/local/httperf
make && make install

安装autobench包：
cd /usr/local/src
wgethttp://www.xenoclast.org/autobench/downloads/autobench-2.1.2.tar.gz
tar zxvf autobench-2.1.2.tar.gz
cd autobench-2.1.2
make && make install

vi /etc/profile
在HISTSIZE=1000下面添加一行：／／直接yum的话，这个就不要了。。。
export PATH=/usr/local/bin:/usr/local/gnuplot/bin:/usr/local/httperf/bin:$PATH
source /etc/profile
(上面的安装过程可以不指定路径，自动安装，环境变量path就无需手动设置了!)
如果上面编译都没有错误，执行下面命令：

cp /usr/local/bin/bench2graph /usr/local/bin/bench2png  
vi /usr/local/bin/bench2png

sed -i 's/postscript. color/png xffffff/g' /usr/local/bin/bench2png (这句话挺重要，否则生成的png图片颜色不对!)

 

测试一个服务器性能，生成tsv文件：

/usr/local/bin/autobench \
--single_host \
--host1=192.168.1.101 \
--port1=80 \
--quiet \
--low_rate=10 \
--high_rate=100 \
--rate_step=10 \
--num_call=1 \
--num_conn=100 \
--timeout=10 \
--file /opt/result.tsv

把tsv文件用图形表示出来：

/usr/local/bin/bench2png /opt/result.tsv /opt/result.png [ 1 2 3 .... ] ／／将后缀.png改成. PS document，再打开就可以了。。后后

如果对两台服务器进行比较，则用下面命令：

/usr/local/bin/autobench \
--host1=squid.yhc.com \
--port1=80 \
--host2=nginx.yhc.com \
--port2=80 \
--quiet \
--low_rate=100 \
--high_rate=5000 \
--rate_step=10 \
--num_call=1 \
--num_conn=3000 \
--timeout=5 \
--file /opt/result.tsv

再把生成的数据转化成图形：
/usr/local/bin/bench2png /opt/result.tsv /opt/result.png [ 1 2 3 .... ]

注：
[1 2 3 .... ]的值分别表示如下：

1 dem_req_rate

2   req_rate_nginx.yhc.com
3   con_rate_nginx.yhc.com
4   min_rep_rate_nginx.jackbillow.com
5   avg_rep_rate_nginx.jackbillow.com
6   max_rep_rate_nginx.jackbillow.com
7   stddev_rep_rate_yhc.jackbillow.com
8   resp_time_nginx.jackbillow.com
9   net_io_nginx.jackbillow.com
10 errors_nginx.jackbillow.com
11 req_rate_apache.jackbillow.com
12con_rate_apache.jackbillow.com
13 min_rep_rate_squid.jackbillow.com
14 avg_rep_rate_squid.jackbillow.com
15 max_rep_rate_squid.jackbillow.com
16 stddev_rep_rate_squid.jackbillow.com
17 resp_time_squid.jackbillow.com
18 net_io_squid.jackbillow.com
19 errors_squid.jackbillow.com

例如，我做如下对比：

2   req_rate_nginx.jackbillow.com
11 req_rate_squid.jackbillow.com
/usr/local/bin/bench2png /opt/result.tsv /opt/result.png [ 2 11 ]

3   con_rate_nginx.jackbillow.com
12 con_rate_squid.jackbillow.com
/usr/local/bin/bench2png /opt/result.tsv /opt/result.png [ 3 12 ]
   
4   min_rep_rate_nginx.jackbillow.com
13 min_rep_rate_squid.jackbillow.com
/usr/local/bin/bench2png /opt/Result.tsv /opt/result.png [ 4 13 ]

 

5   avg_rep_rate_nginx.jackbillow.com 
14 avg_rep_rate_squid.jackbillow.com 
/usr/local/bin/bench2png /opt/resultdef.tsv /opt/resulta5_14.png [ 5 14 ]

6   max_rep_rate_nginx.jackbillow.com
15 max_rep_rate_squid.jackbillow.com
/usr/local/bin/bench2png /opt/Resultabc.tsv /opt/resultaabc6_15.png [ 6 15 ]

7   stddev_rep_rate_nginx.jackbillow.com 
16 stddev_rep_rate_squid.jackbillow.com  
/usr/local/bin/bench2png /opt/Resultabc.tsv /opt/resultaabc7_16.png [ 7 16 ]

8   resp_time_nginx.jackbillow.com
17 resp_time_squid.jackbillow.com 
/usr/local/bin/bench2png /opt/resultdef.tsv /opt/resultaabc8_17.png [ 8 17 ]

9   net_io_nginx.jackbillow.com
18 net_io_squid.jackbillow.com
/usr/local/bin/bench2png /opt/resultdef.tsv /opt/resultaabc9_18.png [ 9 18 ]

10 errors_nginx.jackbillow.com
19 errors_squid.jackbillow.com
/usr/local/bin/bench2png /opt/Resultabc.tsv /opt/resultaabc10_19.png [ 10 19 ]