如何定时从服务器下载一个文件？

Question

worker服务器跑爬虫，每30000数据保存一个json文件，如何每小时下载一次文件？

不直接保存到主服务器数据库的原因是，每次插入操作需要0.3s，主要耗费在网络通信上，太浪费效率。

Answer 1

方法一： sched模块

# -*- coding:utf-8 -*-
import time
import os
import sched

# 初始化sched模块的scheduler类
# 第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler(time.time, time.sleep)

# 被周期性调度触发的函数
def executeCommand(cmd, inc):
    os.system(cmd)
    # 循环执行
    schedule.enter(inc, 0, executeCommand, ('echo 又过了5秒钟', inc))


def main(cmd, inc=60):
    # enter四个参数分别为：间隔事件、优先级（用于同时间到达的两个事件同时执行时定序）、被调用触发的函数，
    # 给该触发函数的参数（tuple形式）
    schedule.enter(0, 0, executeCommand, (cmd, inc))
    schedule.run()


# 每5秒查发一次
if __name__ == '__main__':
    main('echo 过了5秒钟', 5)

方法二: APScheduler框架

> [官方文档][1]

Answer 2

可以使用celery，异步任务框架，设置定时任务

Answer 3

设置一个定时任务

Answer 4

Linux系统下不是有现成的cron定时任务调度啊（主要还是这个学习起来没难度，花费的时间又少，而且又很有用），写个脚本连接数据库，然后定时插入数据，然后定时执行这个脚本，话说，跑爬虫的很多啊！

Answer 5

crontab