如何使用具有多个参数的多处理 pool.map

Question

在 Python multiprocessing 库中，是否有支持多个参数的 pool.map 的变体？

 import multiprocessing

text = "test"

def harvester(text, case):
    X = case[0]
    text + str(X)

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=6)
    case = RAW_DATASET
    pool.map(harvester(text, case), case, 1)
    pool.close()
    pool.join()

原文由 user642897 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

答案取决于版本和情况。 JF Sebastian 在下面首先描述了最新版本的 Python（自 3.3 起）的最一般答案。 1它使用 Pool.starmap 方法，该方法接受参数元组序列。然后它会自动解压每个元组的参数并将它们传递给给定的函数：

 import multiprocessing
from itertools import product

def merge_names(a, b):
    return '{} & {}'.format(a, b)

if __name__ == '__main__':
    names = ['Brown', 'Wilson', 'Bartlett', 'Rivera', 'Molloy', 'Opie']
    with multiprocessing.Pool(processes=3) as pool:
        results = pool.starmap(merge_names, product(names, repeat=2))
    print(results)

# Output: ['Brown & Brown', 'Brown & Wilson', 'Brown & Bartlett', ...

对于早期版本的 Python，您需要编写一个辅助函数来显式解压缩参数。如果你想使用 with ，你还需要编写一个包装器来将 Pool 变成上下文管理器。 （感谢 muon 指出了这一点。）

 import multiprocessing
from itertools import product
from contextlib import contextmanager

def merge_names(a, b):
    return '{} & {}'.format(a, b)

def merge_names_unpack(args):
    return merge_names(*args)

@contextmanager
def poolcontext(*args, **kwargs):
    pool = multiprocessing.Pool(*args, **kwargs)
    yield pool
    pool.terminate()

if __name__ == '__main__':
    names = ['Brown', 'Wilson', 'Bartlett', 'Rivera', 'Molloy', 'Opie']
    with poolcontext(processes=3) as pool:
        results = pool.map(merge_names_unpack, product(names, repeat=2))
    print(results)

# Output: ['Brown & Brown', 'Brown & Wilson', 'Brown & Bartlett', ...

在更简单的情况下，使用固定的第二个参数，您还可以使用 partial ，但仅限于 Python 2.7+。

 import multiprocessing
from functools import partial
from contextlib import contextmanager

@contextmanager
def poolcontext(*args, **kwargs):
    pool = multiprocessing.Pool(*args, **kwargs)
    yield pool
    pool.terminate()

def merge_names(a, b):
    return '{} & {}'.format(a, b)

if __name__ == '__main__':
    names = ['Brown', 'Wilson', 'Bartlett', 'Rivera', 'Molloy', 'Opie']
    with poolcontext(processes=3) as pool:
        results = pool.map(partial(merge_names, b='Sons'), names)
    print(results)

# Output: ['Brown & Sons', 'Wilson & Sons', 'Bartlett & Sons', ...

1. 其中大部分是受到他的回答的启发，他的回答可能应该被接受。但由于这个卡在顶部，似乎最好为未来的读者改进它。

原文由 senderle 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

是否有支持多个参数的 pool.map 变体？

Python 3.3 包括 pool.starmap() 方法：

 #!/usr/bin/env python3
from functools import partial
from itertools import repeat
from multiprocessing import Pool, freeze_support

def func(a, b):
    return a + b

def main():
    a_args = [1,2,3]
    second_arg = 1
    with Pool() as pool:
        L = pool.starmap(func, [(1, 1), (2, 1), (3, 1)])
        M = pool.starmap(func, zip(a_args, repeat(second_arg)))
        N = pool.map(partial(func, b=second_arg), a_args)
        assert L == M == N

if __name__=="__main__":
    freeze_support()
    main()

对于旧版本：

 #!/usr/bin/env python2
import itertools
from multiprocessing import Pool, freeze_support

def func(a, b):
    print a, b

def func_star(a_b):
    """Convert `f([1,2])` to `f(1,2)` call."""
    return func(*a_b)

def main():
    pool = Pool()
    a_args = [1,2,3]
    second_arg = 1
    pool.map(func_star, itertools.izip(a_args, itertools.repeat(second_arg)))

if __name__=="__main__":
    freeze_support()
    main()

输出

1 1
2 1
3 1

注意这里是如何使用 itertools.izip() 和 itertools.repeat() 的。

由于 @unutbu 提到的错误， 您不能在 Python 2.6 上使用 functools.partial() 或类似功能，因此应明确定义简单包装函数 func_star() 。另请参阅 uptimebox 建议 的解决方法。

原文由 jfs 发布，翻译遵循 CC BY-SA 4.0 许可协议