我想从S3下载数千个文件。为了加快此过程，我尝试了Python的multiprocessing.Pool，但是我的性能非常不可靠。有时它可以工作，并且比单核版本快得多，但是通常某些文件要花费几秒钟，因此多处理运行所花的时间比单进程要长。几次我甚至得到一个ssl.SSLError: The read operation timed out。

这可能是什么原因？

from time import time
from boto.s3.connection import S3Connection
from boto.s3.key import Key
from multiprocessing import Pool
import pickle

access_key=xxx
secret_key=xxx
bucket_name=xxx

path_list = pickle.load(open('filelist.pickle','r'))
conn = S3Connection(access_key, secret_key)
bucket = conn.get_bucket(bucket_name)
pool = Pool(32)


def read_file_from_s3(path):
    starttime = time()
    k = Key(bucket)
    k.key = path
    content = k.get_contents_as_string()
    print int((time()-starttime)*1000)
    return content


results = pool.map(read_file_from_s3, path_list) 
# or results = map(read_file_from_s3, path_list) for a single process comparison
pool.close()
pool.join()

[更新] 我最终只在我的多处理代码中添加了带有重试（imap+
.next(timeout)）的超时，但这仅仅是因为我现在不想改变太多。如果您想做对，请使用gevent使用Jan-Philip的方法。