批量测试HTTP代理成功率脚本

业务需求：
计划采购付费HTTP代理，需对各服务商产品进行成功率压测。憋了半天，弄出来了一个简单脚本，基本实现了需求。

目录结构：
[root@localhost ~]# tree test
test
├── dly.sh
├── dly.txt
├── xun.sh
├── xun.txt
├── zhima.sh
└── zhima.txt

每个sh脚本是一家服务商，内容基本一致

脚本内容:

#!/bin/sh

while read i

do 
   curl -A  "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o /dev/null -s -w "返回值:%{http_code}:TCP连接时间:%{time_connect}:Web服务器返回时间:%{time_starttransfer}:请求完成时间:%{time_total}\n" -x $i --proxy-user garywu:123456 http://www.aliyun.com
   sleep 5
done < ./dly.txt

脚本说明：

- 首先从各服务商获取代理IP和端口列表，并存入txt文档
- 其次使用while循环逐个将txt文档内每行的IP和端口读入并赋予变量i
- 使用curl命令来请求测试：
  -A 参数来指定所使用的浏览器版本
  -o 请求结果输出到空
  -s和-w来定义命令行中线上的HTTP返回值
  -x 使用代理(格式为 ip:port)
  --proxy-user 指定代理所使用的用户名和密码（格式为 user:password）
  最后输入要请求的域名
  每次while循环延迟5秒执行

脚本运行结果

只要返回200说明代理是OK的，如果返回值为000则说明HTTP代理不可用

返回值:200:TCP连接时间:0.025:Web服务器返回时间:0.157:请求完成时间:1.311
返回值:200:TCP连接时间:0.055:Web服务器返回时间:0.244:请求完成时间:21.989
返回值:200:TCP连接时间:0.585:Web服务器返回时间:2.891:请求完成时间:19.911
返回值:200:TCP连接时间:0.021:Web服务器返回时间:0.157:请求完成时间:1.351
返回值:000:TCP连接时间:0.000:Web服务器返回时间:0.000:请求完成时间:127.141
返回值:200:TCP连接时间:0.047:Web服务器返回时间:0.168:请求完成时间:1.844
返回值:200:TCP连接时间:0.029:Web服务器返回时间:0.137:请求完成时间:9.808
返回值:200:TCP连接时间:0.032:Web服务器返回时间:0.108:请求完成时间:1.883
返回值:000:TCP连接时间:0.000:Web服务器返回时间:0.000:请求完成时间:0.001
返回值:200:TCP连接时间:0.370:Web服务器返回时间:1.977:请求完成时间:10.395

计算可用率百分比

为啥脚本中没有直接去计算百分比？

因为代理是有实效性的，当你拿到代理IP的时候，5-10分钟就会失效。所以代理测试列表建议生成20个代理IP即可，这样在5-10分钟内基本可以测试完毕。

但如果生成的代理IP过多，5-10分钟失效后，你的脚本仍在测试中，这时候你会发现下面会出现很多返回值是000的情况

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2018/01/10/批量测试HTTP代理成功率脚本/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！