Educoder 第1关：多线程、多进程爬虫

import requests

from lxml import etree

import time

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor

from multiprocessing import Pool

import os

import threading

import psutil



# URL伪装

header = {

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",

}




def downimg(img_src):

    start_time = time.time()

    

    name = img_src.split('/')[-1].split('.')[0]

    img_url = "http://127.0.0.1:8080" + img_src

    img = requests.get(img_url)



    dir_path = 'step1/images'

    if not os.path.exists(dir_path):

        os.makedirs(dir_path)

    img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径



    # print(img_url, name + '.jpg', '开始下载。。。')

    # print(img_path)



    thread = threading.currentThread()

    process = psutil

最后

以上就是慈祥白昼为你收集整理的Educoder 第1关：多线程、多进程爬虫的全部内容，希望文章能够帮你解决Educoder 第1关：多线程、多进程爬虫所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。