python 提升效率_python如何提高爬虫效率
任务背景是需要从一个linux服务器上下载文件,我拥有该服务器的访问权限但仅限于读。目前的解决方法是我把所有需要下载的数据地址都保存在了本地的文件中,一行一条数据地址,通过paramiko包连接服务器然后使用多线程的方式进行爬取。每个线程启动时向其传入一个下载地址列表,因为每个线程的下载地址列表都不重复,因此不需要考虑线程之间的通信。详细代码如下:# filename是存储在本地的地址列表文件,n...