如何加快爬虫速度1. 多线程2. 多进程3. 线程池和进程池4. 线程池实例:爬取新发地5. 协程6. 多任务异步协程实现7. aiohttp模块详解8. 实例:爬一本小说9. 综合实例:抓取一部电影
文章目录1. 多线程2. 多进程3. 线程池和进程池4. 线程池实例:爬取新发地5. 协程6. 多任务异步协程实现7. aiohttp模块详解8. 实例:爬一本小说9. 综合实例:抓取一部电影1. 多线程线程:操作系统为程序准备内存用于存储变量等,内存可以称作某进程(资源单位),进程内部有多个线程(执行单位)在运行。一个进程里面至少有一主线程,为提高程序效率可以多线程并行。只有进程,无线程那就无法运行程序。from threading import Thread## 方法1:# def