利用BaseManager搭建分布式爬虫
multiprocessing模块分享进程间的通信的时候(参考(python进程间通信(二)-分布式进程),介绍了Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,依靠网络通信,将任务分布到其他多个进程中.我们可以利用这个思想,来搭建一套分布式的爬虫.实现架构采用主从模式,主从模式是指由一台...