怎么屏蔽搜索引擎蜘蛛抓取网页收录

87 阅读 0 评论 58 点赞

我是靠谱客的博主娇气长颈鹿，这篇文章主要介绍怎么屏蔽搜索引擎蜘蛛抓取网页收录，现在分享给大家，希望可以做个参考。

正常情况下做网站的话，收录多，更新多点，对优化有些帮助。可是有些时候，屏蔽搜索引擎蜘蛛抓取网页收录，天外飞仙弄个测试网站，里面的数据都是假的，来搞个屏蔽搜索引擎。

1、htaccess屏蔽搜索引擎蜘蛛的方式对来说更加隐蔽！

复制代码

1
2
3
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|robozilla|msnbot) [NC]
RewriteRule ^(.*)$ http://www.jqueryba.com/ [R=301,L]

2、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话）

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /