弱弱地问下,scrapy 的closed函数怎么调用?

希望达到的目的,就是当这个spider项目满足某些条件后,就整个停止下来,不需要继续运行下去。
大致类似如下:

clipboard.png

原先用sys.exit(0),但这个不管用。
后来用 raise CloseSpider(),这个能达到目的。但是受限于settings里设置的最大并发数。比如默认是16个并发,那就要等每个进程都达到条件,才能退出。
目标是不管多少个并发,任何一个满足条件就可以退出这个项目。所以想问下scrapy里应该有自带的closed函数,该怎么调用呢?

阅读 3.4k
1 个回答

试试直接os._exit(0)

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进