海量数据采集一般有哪些反爬策略？
在海量数据采集中，很多人以为引入代理IP就行，其实不然。在大量高频的对目标网站进行请求，要面临的一个很大的问题就是如何突破目标网站的防爬机制，这直接影响到我们的爬取效率（头条系、阿里系、腾讯系无疑是防反爬技术的一梯队），而突破防爬机制引入代理IP池只是一种初级手段，必须配合我们的反爬策略：１、没有对无头浏览器（selenium webdriver）做复杂反爬的网站，直接用程序控制无头浏览器不断的...
