python 协程池配合多进程、开多核、使用

65 阅读 0 评论 43 点赞

我是靠谱客的博主包容电话，最近开发中收集的这篇文章主要介绍python 协程池配合多进程、开多核、使用，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

import multiprocessing
from gevent import monkey
monkey.patch_all()
from gevent.pool import Pool
def main()
	mid = len(datas) // 2 # data 要执行的数据列表 mid取列表的中间值
	    jobs = []
	    for x in range(2): # 开两个核
	        p = multiprocessing.Process(target=image_downloader, args=(datas[x * mid:(x + 1) * mid], x)) #x 两个核  每个核中取一半的数据加入到进程中
	        p.start()
	        jobs.append(p)
	    for job in jobs:
	        job.join()

def image_downloader(img_urls, num):
	pool = Pool(5)
	def  handle():
		pass #要执行的函数
	pool.map(handle, img_urls)

main()