Nginx反爬虫

Nginx被爬虫的服务器，会在某个时间点CPU占用骤增, 不同时间段CPU占用较高（也可能会出现内存溢出等问题）。如果服务器有web业务，那么基本可以确定被爬虫了...

反爬虫

首先对爬虫IP进行屏蔽

策略: 通过awk筛选日志，找出访问量较高的可以IP地址进行屏蔽。

(1)查找要禁止的IP:
awk '{print $1}' /var/log/nginx/access.log|sort |uniq -c|sort -rn

(2)屏蔽IP或IP段
在nginx server区段添加如下即可：
deny 5.188.211.72;
或
deny 5.188.211.70/32;

Nginx判断UA处理反爬虫

这个时候就有充足的时间通过一些手段进行反爬虫处理了...

将下面的if语句放在nginx配置文件的server或者location代码区域内【不能放在http区域】。

#禁止指定UA及UA为空的访问(常见UA列表详见附录)

if ($http_user_agent ~* "Applebot|SEOkicks-Robot|DotBot|YunGuanCe|Exabot|spiderman|Scrapy|HttpClient|Teleport|TeleportPro|SiteExplorer|WBSearchBot|Elefent|psbot|TurnitinBot|wsAnalyzer|ichiro|ezooms|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$") {
  return 403;
} 

生效

添加此配置之后，验证语法：nginx -t 
无误后,重载Nginx配置: nginx -s reload

测试

curl -I -A "spiderman" https://xx.xxx.com
或
curl -I -A "YunGuanCe" https://xx.xxx.com

如果返回403的输出，则说明配置已经生效了

自行筛选屏蔽UA

log筛选命令：
cat access.log|awk -F '"' '{print $6}'|sort|uniq -c |sort -rn|head -20

将可疑的UA加入以上屏蔽列表即可。

附录：常见的爬虫UA

常见搜索引擎爬虫的User-Agent

百度爬虫
Baiduspider+(+http://www.baidu.com/search/spider.htm”)

Google爬虫
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)

雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)

新浪爱问爬虫
iaskspider/2.0(+http://iask.com/help/help_index.html”)
Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫
Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

网易爬虫
Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )

MSN爬虫
msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

网络上常见的垃圾UA列表

内容采集：
      FeedDemon
      Java 内容采集
      Jullo 内容采集
      Feedly 内容采集
      UniversalFeedParser 内容采集

SQL注入：
      BOT/0.1 (BOT for JCE)
      CrawlDaddy

无用爬虫:
      EasouSpider
      Swiftbot
      YandexBot
      AhrefsBot
      jikeSpider
      MJ12bot
      YYSpider
      oBot
      
CC攻击器:
      ApacheBench
      WinHttp

TCP攻击:
      HttpClient


扫描:
      Microsoft URL Control
      ZmEu phpmyadmin
      jaunty

参考：运维之美

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2018/06/12/Nginx反爬虫/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！