-爬虫的抓取效率怎么去提升

57 阅读 0 评论 38 点赞

我是靠谱客的博主碧蓝百褶裙，最近开发中收集的这篇文章主要介绍-爬虫的抓取效率怎么去提升，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

我们在抓取目标数据的时候，尤其是数据量比较大的时候，总觉得抓取效率比较慢。那么，有什么方法可以提高爬虫的爬行效率呢？如何提高爬虫的抓取效率？下面和大家简单讨论一下如何提高爬虫的抓取效率。

1.精简抓取流程，避免重复访问。

在抓取数据的过程中，很大一部分时间是用来等待网络请求的响应的，所以减少不必要的访问次数可以节省时间，提高抓取效率。然后需要优化流程，尽可能精简流程，避免多个页面重复访问。那么减肥也是一个非常重要的手段。一般根据网址或者id来判断唯一性，已经爬上去的不用继续爬了。

2.多线程分布式抓取，人多力量大，爬行也是一样。如果一台机器不够，就多造几台，如果不够，就多造几台。

分发的第一步不是爬虫的本质，也不是必须的。对于相互独立、没有通信的任务，可以手动划分任务，然后在多台机器上执行，这样就减少了每台机器的工作量，耗时也会翻倍。比如有200万个网页要抓取，5台机器可以抓取40万个不重复的网页。相对来说，单机耗时缩短了5倍。

如果有需要通信的情况，比如要爬取的队列是变化的，那么这个队列每次爬取都会发生变化，即使任务被分割，也会出现交叉重复，因为程序运行时每台机器要爬取的队列都是不一样的。在这种情况下，只有分布式的，一个主存储队列，其他从存储队列可以分别取，这样一个队列可以共享，互斥的抓取不会重复。