如何屏蔽搜索引擎抓取？
作网站运营尤其是网站排名优化的时候，我们总想着如何来引导搜索引擎蜘蛛来爬行网页，收录。然而，很多时候一些网站因为所真对的用户群体和目标地区不同，并不希望获得搜索引擎的光顾，这个时候我们要如何来解决呢？今天和笔者小丹一起来研究一下吧！ 当我们看到要屏蔽抓取的时候，大多数SEOer想到的都是robots.txt文件。因为在我们的认知中，robot文件可以有效的杜姐搜索引擎抓取某些页面。但
