简单介绍使用Nginx限制百度蜘蛛频繁抓取的问题
导读 这篇文章主要介绍了使用Nginx限制百度蜘蛛频繁抓取的问题,百度蜘蛛对网站的抓取频率高和抓取量骤增导致服务器负载高，经常收到警告信息，每分钟允许百度蜘蛛抓取200次，超过频率限制的返回503，对Nginx限制蜘蛛频繁抓取相关知识感兴趣的朋友一起看看吧 百度蜘蛛对网站的抓取频率高和抓取量骤增导致服务器负载高，经常收到警告信息。最终采用nginx的ngx_http_limit_req_module模块限制了百度蜘蛛的抓取频率。每分钟允许百度蜘蛛抓取200次，超过频率限制的返回503。li
