Scrapy 能否实现每秒的并发数量控制?

查看了下Scrapy的文档,查到的部分限制中有:
访问延迟:用于限制两个请求间的时间间隔
并发请求限制:对单个网站,IP,或者全局的并发请求限制。

但是能否实现例如设定其每秒最多5个并发请求限制这样的功能。
看了一遍文档,并没有发现可用的信息。

请教各位大佬

阅读 15.2k
1 个回答

看到这里: https://github.com/scrapy/scr... 限制每分钟 40个请求:

RANDOMIZE_DOWNLOAD_DELAY=False
DOWNLOAD_DELAY=60/40.0
CONCURRENT_REQUESTS_PER_IP=40
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题