大量的蜘蛛爬行抓取造成网站访问速度慢（包括恶意的蜘蛛）

39 阅读 0 评论 26 点赞

我是靠谱客的博主多情舞蹈，最近开发中收集的这篇文章主要介绍大量的蜘蛛爬行抓取造成网站访问速度慢（包括恶意的蜘蛛），觉得挺不错的，现在分享给大家，希望可以做个参考。

标题：大量的蜘蛛爬行抓取造成网站访问速度慢（包括恶意的蜘蛛）

问题现象：网站开启后CPU2-5秒即达到100%使用率，短期内网站可以正常访问，1-2天后网站无法打开，或者打开加载特慢。
网站访问速度慢

原因：大量的蜘蛛爬行抓取造成网站访问速度慢
处理方法：
1、登陆宝塔下载LOG日志

2、使用notepad++打开日志信息分析查看
大量的蜘蛛爬行抓取造成网站访问速度慢

3、Notepad++打开了以后发现大量的同IP段的访问。为了更直观的处理问题，将访问日志，全选后复制到excel表格内。
大量的蜘蛛爬行抓取造成网站访问速度慢

4、新建一例使用excel函数=MID(B1,1,10)提取后一单元格内的1-10数据。
大量的蜘蛛爬行抓取造成网站访问速度慢

5、使用excel筛选功能-分析IP段发现“罪魁祸首”46.229.168IP段。
大量的蜘蛛爬行抓取造成网站访问速度慢

6、登陆宝塔后台面板，安全-防火墙-屏蔽IP，使用IP段屏蔽，任务完成。
大量的蜘蛛爬行抓取造成网站访问速度慢

7.恢复正常展示。
大量的蜘蛛爬行抓取造成网站访问速度慢

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。