怎么屏蔽搜索引擎蜘蛛抓取网页收录
正常情况下做网站的话,收录多,更新多点,对优化有些帮助。可是有些时候,屏蔽搜索引擎蜘蛛抓取网页收录,天外飞仙弄个测试网站,里面的数据都是假的,来搞个屏蔽搜索引擎。1、htaccess屏蔽搜索引擎蜘蛛的方式对来说更加隐蔽!RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot|soso|bing|sog