0
  1. 尝试过配置多个processor,也同样发生这个情况;
2019-05-09 提问
1 个回答
0

检查一下两个任务中生成的taskid,如果taskid相同的话,pyspider会认为这是同一个任务,只会爬取一次,在脚本中覆盖get_taskid方法来配置不同的taskid。

撰写答案

推广链接