python 充分利用CPU

当利用python处理大规模数据或者运行一些耗时较长的程序时，往往会发现程序运行时CPU并没有跑满，哪怕开了多线程后CPU利用率仍然不高。这是因为在默认情况下，Python 程序是单个进程，使用单 CPU 核心执行，这意味着多核处理器只使用了一个核。「一核有难九核围观」意味着超过 50% 的算力都会被浪费。这篇文章将介绍如何解决这种情况。

多线程无法增加cpu使用率的原因

GIL 的全程为 Global Interpreter Lock ，意即全局解释器锁。在 Python 语言的主流实现 CPython 中，GIL 是一个货真价实的全局线程锁，在解释器解释执行任何 Python 代码时，都需要先获得这把锁才行，在遇到 I/O 操作时会释放这把锁。如果是纯计算的程序，没有 I/O 操作，解释器会每隔 100 次操作就释放这把锁，让别的线程有机会执行（这个次数可以通过 sys.setcheckinterval 来调整）。所以虽然 CPython 的线程库直接封装操作系统的原生线程，但 CPython 进程做为一个整体，同一时间只会有一个获得了 GIL 的线程在跑，其它的线程都处于等待状态等着 GIL 的释放。这就意味着哪怕开了多线程CPU使用率仍然不会很高。

如何充分使用多核跑程序

有三个办法

1. multiprocessing

multiprocessing 是多进程标准库，让多进程的 python 程序编写简化到类似多线程的程度，通过多进程的方式使用多个CPU核心。

2. C 语言扩展机制

如果不想用多进程这样重量级的解决方案，可以改用 C/C++。当然，你也不用做的这么绝，只需要把关键部分用 C/C++ 写成 Python 扩展，其它部分还是用 Python 来写，让 Python 的归 Python，C 的归 C。一般计算密集性的程序都会用 C 代码编写并通过扩展的方式集成到 Python 脚本里（如 NumPy 模块）。这样在扩展里就完全可以用 C 创建原生线程，就可以充分利用 CPU 的计算资源了。

3. ctypes

不过，写 Python 扩展总是让人觉得很复杂。好在 Python 还有另一种与 C 模块进行互通的机制 : ctypes。ctypes 与 Python 扩展不同，它可以让 Python 直接调用任意的 C 动态库的导出函数。你所要做的只是用 ctypes 写些 python 代码即可。

本章原载于我的博客 https://autumnriver.top/2020/01/07/python-%E5%85%85%E5%88%86%E5%88%A9%E7%94%A8CPU/

最后

以上就是苗条飞鸟为你收集整理的python 充分利用CPU的全部内容，希望文章能够帮你解决python 充分利用CPU所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。