python进程池一个进程卡住_python多进程-进程池模式退出异常解决办法

54 阅读 0 评论 36 点赞

我是靠谱客的博主欢呼裙子，最近开发中收集的这篇文章主要介绍python进程池一个进程卡住_python多进程-进程池模式退出异常解决办法，觉得挺不错的，现在分享给大家，希望可以做个参考。

在执行python脚本的多进程程序时，会随机性的触发程序执行完，无法主动退出的情况。尤其是当进程数足够大时，处理的数据量足够多时。出现退出异常的概率越大。下面的脚本用于解决退出异常问题。

import argparse

import requests

import getpass

from multiprocessing import Pool

import datetime

import time

from requests.packages.urllib3.exceptions import InsecureRequestWarning

requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

def get_parameter():

parser=argparse.ArgumentParser(description='利用requests库批量访问url(v3)')

parser.add_argument('-f',dest='inputFile',type=str,default='',help='url文件')

parser.add_argument('-o',dest='outputFile',type=str,default='result.txt',help='结果保存文件')

parser.add_argument('-p',dest='proxyServer',type=str,default='',help='设置代理服务

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。