大量的蜘蛛爬行抓取造成网站访问速度慢(包括恶意的蜘蛛)
标题:大量的蜘蛛爬行抓取造成网站访问速度慢(包括恶意的蜘蛛)问题现象:网站开启后CPU2-5秒即达到100%使用率,短期内网站可以正常访问,1-2天后网站无法打开,或者打开加载特慢。原因:大量的蜘蛛爬行抓取造成网站访问速度慢处理方法:1、登陆宝塔下载LOG日志2、使用notepad++打开日志信息分析查看3、Notepad++打开了以后发现大量的同IP段的访问。为了更直观的处理问题,将访问日志,全选后复制到excel表格内。4、新建一例使用excel函数=MID(B1,1,10)提取后