禁止搜索引擎收录php,禁止搜索引擎收录的几种方式

类别：技术杂谈 / 日期：2017-02-01 / 浏览：1990 / 评论：0

有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。

meta标签方式 默认是all

其中的属性说明如下：

设定为all：文件将被检索，且页面上的链接可以被查询；

设定为none：文件将不被检索，且页面上的链接不可以被查询；

设定为index：文件将被检索；

设定为follow：页面上的链接可以被查询；

设定为noindex：文件将不被检索，但页面上的链接可以被查询；

设定为nofollow：文件可以被检索，但是页面上的链接不可以被查询。

robots.txt方式

编辑robots.txt文件禁止所有搜索引擎访问网站的任何部分User-agent: * Disallow: /

允许所有的robot访问(或者也可以建一个空文件 “/robots.txt” file)User-agent: *Disallow:

禁止某个搜索引擎的访问User-agent: BadBotDisallow: /

允许某个搜索引擎的访问User-agent: baiduspiderDisallow:User-agent: *Disallow: /

一个简单例子在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。　　需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。　　User-agent:后的* 具有特殊的含义，代表”any robot”，所以在该文件中不能有”Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现.User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/

赞助

感谢您的赞助~