带有反爬虫机制下进行爬取数据方案，这里以阿里拍卖为例
介绍最近接到一个2万多的小项目，需求是这样的。需要将一个大型网站上的数据爬下来保存到本地。具体项目不方便透漏，这里的演示就以阿里拍卖网站为例。反爬虫机制有那些？解决反爬虫之前，我们首先得了解反爬虫机制。ip限制反爬虫：免登录反爬虫一般用访问ip来判断你是否在爬虫获取网站信息，这里百度亲测过。当初写 了一个脚本自动爬取百度搜索的结果信息，结果前面试了几次还好。而到后面数据再用脚本爬取结果人家百度不再返回数据了。动态网页与加密混淆网页反爬虫：在有的网页中直接查看源码看到的数据如下图，源码要么被加密混
