如何有效的屏蔽百度蜘蛛

68 阅读 0 评论 45 点赞

我是靠谱客的博主勤劳羊，最近开发中收集的这篇文章主要介绍如何有效的屏蔽百度蜘蛛，觉得挺不错的，现在分享给大家，希望可以做个参考。

很多时候，我们都不会去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成，那么重庆SEO徐三就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生，首先既然要用到robots协议，那么我们就要先创建一个记事本，把记事本重命名为robots，然后我们写下robots协议具体如下：

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots Meta标签也可以屏蔽百度蜘蛛抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间，如下所示：

<head>

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站，那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下：

方法1：

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* – [F]

方法2：

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多，以上方法可参考，重庆SEO鹏鹏觉得还是以robots协议较好，所以其他方法及时可以用，但是也不建议去做，因为一步小心搞错了，就会导致麻烦不断！

本文来源：http://www.pengpengseo.com/

以上就是勤劳羊为你收集整理的如何有效的屏蔽百度蜘蛛的全部内容，希望文章能够帮你解决如何有效的屏蔽百度蜘蛛所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。