爬虫学习----提升爬虫的速度一、并发和并行,同步和异步的概念二、多线程爬虫三、多进程爬虫四、多协程爬虫
一、并发和并行,同步和异步的概念前面我们已经学习了网络爬虫的基本操作,下面,我们将会学习提升爬虫的速度,提升爬虫的速度有三种:多线程爬虫、多进程爬虫、多协程爬虫。在学习具体的操作之前,我们先来了解一下并发和并行,同步和异步的概念。并发:在同一时间段内发生若干事件的情况,就是说任务一个接着一个执行,一个执行完成后执行下一个任务。 并行:在同一个时刻发生若干事件的情况。就是说同一时刻多个任务...