multiprocessing.Queue()和queue.Queue()的区别

Queue.Queue是进程内非阻塞队列，用于进程内的各函数模块或线程间通信。

multiprocess.Queue是跨进程通信队列。但是不能用于multiprocessing.Pool多进程的通信。

multiprocessing.Manager

进程池multiprocessing.Pool()的多进程之间的通信要用multiprocessing.Manager().Queue()

一个multiprocessing.Manager对象会控制一个服务器进程，其他进程可以通过代理的方式来访问这个服务器进程。从而达到多进程间数据通信且安全。

Manager支持的类型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array。

个人理解：Manager()是一个中转站，用于把一些不能垮进程的对象共享给多进程。个人认为其效率不会很高。

多进程使用 multiprocessing.Queue通信

自己写了个简单的测试程序。
我担心multiprocessing.Queue同时有多个进程读或者多个进程写，是否是安全的，数据是否会串扰。经过测试我的担心是多余的。

另外我担心multiprocessing.Queue的效率问题。后来使用图片来测试，发现相比写磁盘，multiprocessing.Queue的效率要高很多。所以我决定采用multiprocessing.Queue来传输图片。

from multiprocessing import Process, Queue, Pool,Manager
import time, random, cv2
# 写数据进程执行的代码
def write(q, w_cnt, index):
print('write task:{}'.format(index))
for num in range(w_cnt):
q.put('write task-{}, cnt-{}'.format(index, num))
print( 'write task:{} done'.format( index ) )
# 读数据进程执行的代码
def read(q, read_cnt):
cnt = 0
while True:
if not q.empty():
value = q.get(True)
print ('Get:[%s] from queue.' % value)
cnt += 1
if cnt >= read_cnt:
break
if __name__=='__main__':
r_num = 1
# 读进程的数量
w_num = 20 # 写进程的数量
w_cnt = 20 # 写进程循环的次数
q = Queue(10)
r_list = [Process( target=read, args=(q,w_num*w_cnt,) ) for i in range(r_num)]
w_list = [Process( target=write, args=(q,w_cnt,i,) ) for i in range( w_num )]
time_start = time.time()
[task.start() for task in w_list]
[task.start() for task in r_list]
[task.join() for task in w_list]
[task.join() for task in r_list]
time_used = time.time() - time_start
print('time_used:{}s'.format(time_used))

参考资料

multiprocessing.Queue()和queue.Queue()的区别

改善 Python 程序的 91 个建议（六）

最后

以上就是甜蜜糖豆为你收集整理的python多进程通信之multiprocessing.Queuemultiprocessing.Queue()和queue.Queue()的区别multiprocessing.Manager多进程使用 multiprocessing.Queue通信参考资料的全部内容，希望文章能够帮你解决python多进程通信之multiprocessing.Queuemultiprocessing.Queue()和queue.Queue()的区别multiprocessing.Manager多进程使用 multiprocessing.Queue通信参考资料所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。