如何在'joblib'Python库中共享变量
问题内容:
from joblib import Parallel, delayed
def func(v):
temp.append(v)
return
temp = []
Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp
我想使共享内存可变。但是temp的值为空[]。我该怎么做?
对于其他方法,我尝试了pickle.dump和load。但是有一个锁定问题。请给我建议!
问题答案:
您需要使用multiprocessing.Manager.list
,例如:
from joblib import Parallel, delayed
from multiprocessing import Manager
manager = Manager()
temp = manager.list()
def func(v, temp):
temp.append(v)
return
_ = Parallel(n_jobs=4)(delayed(func)(v, temp) for v in range(10))
temp[:]
:
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]