如何在'joblib'Python库中共享变量


问题内容
from joblib import Parallel, delayed

def func(v):
    temp.append(v)
    return

temp = []
Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

我想使共享内存可变。但是temp的值为空[]。我该怎么做?

对于其他方法,我尝试了pickle.dump和load。但是有一个锁定问题。请给我建议!


问题答案:

您需要使用multiprocessing.Manager.list,例如:

from joblib import Parallel, delayed
from multiprocessing import Manager

manager = Manager()
temp = manager.list()

def func(v, temp):
    temp.append(v)
    return

_ = Parallel(n_jobs=4)(delayed(func)(v, temp) for v in range(10))

temp[:]

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]