Python网络爬虫——并发下载
如果要爬取一个大型网站时，串行下载显然已经不再适用，所以使用并发下载，用多线程和多进程这来嗯中下载网页的方式。 测试环境 Alexa提供了最受欢迎的100万个网站列表， 网址http://www.alexa.com/topsites 也可以通过http://s3.amazonaws.com/alexa-static/top-1m.csv.zip 直接下载这一列表的压缩文件。 解析Ale...
