python3多进程爬虫_爬虫系列(三)——多进程爬虫
承接上文,实现多任务的方法一般有三种,今日来实现其中的一种:多进程爬虫。而剩余的多线程并发和协程暂时没时间搞了,一方面是要先学习下Python的yield和send如何使用,其次要准备毕设的中期答辩和被老师安排了去读源代码,日后会补上的。但仅仅是多进程,就将IO密集的任务从1153秒提升到了105秒,且极高的提升了资源利用率。还有一点,本文的代码可能只适用于Next主题,但方法思路是通解,只要改改...