10_反爬的三种方法和解决方案
1. 反爬三个方向基于身份识别基于行为特征基于数据加密2. 身份识别的反爬及解决方案2.1 基于headers识别headers中有很多字段,这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫2.1.1 通过headers中的User-Agent字段来反爬反爬原理:爬虫默认情况下没有User-Agent,而是使用模块默认设置解决方法:请求之前添加User-Agent即可;更好的方式是使用User-Agent池来解决(收集一堆User-Agent的方式,或者是随机生成User-