SF
Python 从零开始爬虫
Python 从零开始爬虫
注册登录
关注博客
注册登录
主页
关于
RSS
【暂时Over】Python 从零开始爬虫(十)给爬虫加速:多线程,多进程
忍野忍
2018-08-30
阅读 9 分钟
11.4k
普通的python爬虫是单进程单线程的,这样在遇到大量重复的操作时就只能逐个进行,我们就很难过了。举个栗子:你有1000个美图的链接,逐个喂给下载器(函数),看着图片只能一个个蹦出来,你不心急吗?于是我们想,能不能同时跑多个下载器,实现多图同时下载?——答案是可以的,使用多进程/多线程,把每个带着不同参数下载...