进程池并行处理的一个小坑

78 阅读 0 评论 52 点赞

我是靠谱客的博主发嗲小鸽子，最近开发中收集的这篇文章主要介绍进程池并行处理的一个小坑，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

之前我们讨论过使用concurrent.futures.ProcessPoolExecutor构件进程池实现并行处理：

with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
       futures = [executor.submit(self.ExcecuteGridTest, element) for element in self.testCase]
       for future in concurrent.futures.as_completed(futures):
            #获取每个测试结果
           testResult=future.result()
           ....

          print('testResult',self.testResult)

这段代码看上去没有什么问题，但是如果主要处理函数ExcecuteGridTest处理时间过长就会报错：

在这里插入图片描述
造成这个错误原因，判断为executor.submit和处理函数ExcecuteGridTest是异步调用
concurrent.futures.as_completed(futures)调用结果是就会出现问题。
解决方案：

 with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
            futures = [executor.submit(self.ExcecuteGridTest, element) for element in self.testCase]
   
            for future in concurrent.futures.as_completed(futures):
                #获取每个测试结果
                **try:**
                    df_testlog=future.result()
                   ...
                    print('testResult',self.testResult)
                **except Exception as e:
                    print('data  is loaded error,'+repr(e))
                    
                    traceback.print_exc()**
``
实际上就是加了 try... except  ，在执行过程中捕捉到错误，抛出异常后，不会中断，继续执行循环，但是ExcecuteGridTest总会处理完，所以最后还是能够得到所有的进程结果

如果有更好更优雅的办法解决，或者发现本文判断有什么问题，请不吝赐教，谢谢