希望达到的目的,就是当这个spider项目满足某些条件后,就整个停止下来,不需要继续运行下去。
大致类似如下:
原先用sys.exit(0),但这个不管用。
后来用 raise CloseSpider(),这个能达到目的。但是受限于settings里设置的最大并发数。比如默认是16个并发,那就要等每个进程都达到条件,才能退出。
目标是不管多少个并发,任何一个满足条件就可以退出这个项目。所以想问下scrapy里应该有自带的closed函数,该怎么调用呢?
希望达到的目的,就是当这个spider项目满足某些条件后,就整个停止下来,不需要继续运行下去。
大致类似如下:
原先用sys.exit(0),但这个不管用。
后来用 raise CloseSpider(),这个能达到目的。但是受限于settings里设置的最大并发数。比如默认是16个并发,那就要等每个进程都达到条件,才能退出。
目标是不管多少个并发,任何一个满足条件就可以退出这个项目。所以想问下scrapy里应该有自带的closed函数,该怎么调用呢?
试试直接os._exit(0)