python爬虫---＞无头浏览器设置被反爬，建议最好别无头

63 阅读 0 评论 42 点赞

我是靠谱客的博主羞涩小白菜，最近开发中收集的这篇文章主要介绍python爬虫---＞无头浏览器设置被反爬，建议最好别无头，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

进行爬虫时，进行chrome谷歌的无头设置时，爬取不到数据

   之前有过反爬经历，获取不到数据，定位原因是ip问题。于是买了代理ip，但是用了代理ip，
   依旧获取不到数据！！！于是检查代码，发现定位标签等等都没有问题，偶然注释掉无头，
   发现可以获取数据！！！于是坑就被找到了，是因为window上我们使用的是正常的浏览器，
   启动谷歌浏览器的时候，配置–headness参数，以无头的形式启动，无法爬取到数据，
   也就是是否无头存在一些特征被暴露出去了。而且根据是否无头来判断是否是爬虫也很准，
   因为普通用户是不可能用无头浏览器来进行浏览数据的，那一定就是爬虫了。