有几百个 文件。但都不大,最大的也就几兆
我用pycurl下载。
我把下载地址放到 列表 里了。
取出第一个下载,等下完了,在取第二个。
但问题是,几百个下载连接,pycurl怎么判断当前文件下载完了,然后开始下一个。
有几百个 文件。但都不大,最大的也就几兆
我用pycurl下载。
我把下载地址放到 列表 里了。
取出第一个下载,等下完了,在取第二个。
但问题是,几百个下载连接,pycurl怎么判断当前文件下载完了,然后开始下一个。
使用tomorrow并发执行
from tomorrow import threads
@threads(10)
def get_data(url):
...
return res
urls = [...]
res = [get_data(url) for url in urls]
类似的吧。你没给示例,我就演示一下。具体怎么用可以到官网去看。
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
pycurl 懂 HTTP 协议,你不用替它担心。