单机下进行分布式爬取数据(windows下单机模拟多机进行分布式爬虫)
URL管理器ControlNode/ URLManager.py#coding:utf-8import cPickleimport hashlibclass UrlManager(object): def __init__(self): self.new_urls = self.load_progress('new_urls.txt')#未爬取URL集合 ...
