定时执行爬虫任务,通过循环监视,但是没有成功,求解答

from scrapy import cmdline
def doSth():
    # 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name
    cmdline.execute('scrapy crawl zhilian_spider'.split())


# 想几点更新,定时到几点
def time_ti(h=17, m=54):
    while True:
        now = datetime.datetime.now()
        # print(now.hour, now.minute)
        if now.hour == h and now.minute == m:
            doSth()
        # 每隔60秒检测一次
        time.sleep(60)
time_ti()

网上说这样可以实现定时爬虫,但是我发现在某一次进入爬虫doSth()之后,整个循环程序在结束该次爬虫后就结束了,这是为什么呢

阅读 2k
2 个回答

看起来没问题, 如果在执行爬虫的那个步骤价格 try的话就更好了
但是计划定点执行为啥不上Linux的crontab

你可以尝试一下celery队列的定时任务

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏