怎么屏蔽搜索引擎蜘蛛抓取网页收录
正常情况下做网站的话，收录多，更新多点，对优化有些帮助。可是有些时候，屏蔽搜索引擎蜘蛛抓取网页收录，天外飞仙弄个测试网站，里面的数据都是假的，来搞个屏蔽搜索引擎。1、htaccess屏蔽搜索引擎蜘蛛的方式对来说更加隐蔽！RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot|soso|bing|sog
