Python网络爬虫——并发下载
如果要爬取一个大型网站时,串行下载显然已经不再适用,所以使用并发下载,用多线程和多进程这来嗯中下载网页的方式。 测试环境 Alexa提供了最受欢迎的100万个网站列表, 网址http://www.alexa.com/topsites 也可以通过http://s3.amazonaws.com/alexa-static/top-1m.csv.zip 直接下载这一列表的压缩文件。 解析Ale...