执着小白菜

文章
3
资源
0
加入时间
2年10月18天

如何识别恶意网络蜘蛛

网络蜘蛛(Web Spider),是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页,通常由网站首页开始,根据链接依次抓取网页。并非所有的网络蜘蛛都是搜索引擎,同样会有翻译服务、订阅服务、阅读器等,甚至还有许多恶意蜘蛛也会市场来访问你的网站。所以对网站中网络蜘蛛相关的数据统...