1、点run能够爬取;
2、设置minutes=10 ,auto_recrawl=True
3、running状态任务并不能自动到时间自动爬取(磁盘有足够空间)
4、把pyspider终止再运行能爬取几条后,又会停止不动
下图是ssh里的把要爬的一部分url爬取为active后的状态(事实上有数据可以爬)
5、webui顶部一直是scheduler100 fetcher100
任务列表也不更新了
显示下图:只见active,不见success
6、系统环境:centos7 64位 ,pyspider0.3.8(git版),硬件是树莓派3
请问在哪里排查故障原因,怎么解决呢?
谢谢
你在脚本里干嘛了?长时间执行不返回。