python有什么处理大量文件下载的方法

有几百个 文件。但都不大,最大的也就几兆

我用pycurl下载。

我把下载地址放到 列表 里了。

取出第一个下载,等下完了,在取第二个。

但问题是,几百个下载连接,pycurl怎么判断当前文件下载完了,然后开始下一个。

阅读 3k
2 个回答
但问题是,几百个下载连接,pycurl怎么判断当前文件下载完了,然后开始下一个。

pycurl 懂 HTTP 协议,你不用替它担心。

使用tomorrow并发执行

from tomorrow import threads

@threads(10)
def get_data(url):
    ...
    return res
    
urls = [...]

res = [get_data(url) for url in urls]

类似的吧。你没给示例,我就演示一下。具体怎么用可以到官网去看。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题