python使用多任务提高爬虫效率一.我们为什么要使用多任务？二. 协程并发量的控制
一.我们为什么要使用多进程？通常在使用request的时候，响应数据比较大的时候，程序一直在那里等待服务器的响应，而使得程序进入了阻塞状态，不能有效地利用电脑的cpu，如果数据量比较大的时候，这个阻塞浪费的时间就很明显了，如何解决就要涉及到多进程。为什么不像java或者c一样是多线程呢？在python的实际中有一个GIL锁，为了保证资源的统一性，只有当python的一个线程运行结束，才可以运行下一个线程，我们来对比一组数据，用来模拟使用request不使用多线程进行多组url
