pyspider 为什么只能跑一个任务;同时创建了2个任务,调度配置都一样,一个任务始终_on_cronjob

新手上路,请多包涵
  1. 尝试过配置多个processor,也同样发生这个情况;
阅读 2.6k
1 个回答

检查一下两个任务中生成的taskid,如果taskid相同的话,pyspider会认为这是同一个任务,只会爬取一次,在脚本中覆盖get_taskid方法来配置不同的taskid。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏