【python小随笔】进程池 multiprocessing.Pool的简单实现与踩过的坑

#导入进程模块 import multiprocessing  #创建进程池             坑：一定要在循环外面创建进程池，不然会一直创建 pool = multiprocessing.Pool(30) for Size in Size_list:         index,Size_Asin = Size.xpath('./@value')[0].split(",")                   Size_Asin_url = "https://www.amazon.cn/dp/%sth=1&psc=1" % Size_Asin  # 拼接每个Size_Asin网页URL                       #任务进程池执行     坑：这一步要在循环里面执行      pool.apply_async(self.Size_Asin_Get,args=(Size_Asin_url,parentAsin,))   pool.close()         #坑： 要在循环外面关闭 pool.join()