Python中的multiprocessing.dummy没有使用100％cpu
我用Python做机器学习项目，所以我必须并行预测函数，我正在使用我的程序。
from multiprocessing.dummy import Pool
from multiprocessing import cpu_count
def multi_predict(X, predict, *args, **kwargs):
pool = Pool(cpu_count())
results = pool.map(predict, X)
pool.close()
pool.join()
return results
问题是，我所有的CPU只加载20-40％（总计100％）。 我使用multiprocessing.dummy，因为在酸洗功能中多处理模块有问题。
当你使用multiprocessing.dummy ，你使用的是线程，而不是进程：
multiprocessing.dummy复制的API multiprocessing ，但并不比周围的一个封装threading模块。
这意味着您受到全局解释器锁（GIL）的限制，并且一次只有一个线程可以实际执行CPU绑定操作。 这会阻止你完全利用你的CPU。 如果你想在所有可用的内核中获得完全的并行性，你将需要解决你正在使用multiprocessing.Pool所遇到的酸洗问题。
请注意，如果您需要并行化的工作是IO绑定，或者使用释放GIL的C扩展，那么multiprocessing.dummy可能仍然有用。 但是，对于纯Python代码，您需要进行multiprocessing 。
上一篇: multiprocessing.dummy in Python is not utilising 100% cpu