查看了下Scrapy的文档,查到的部分限制中有:
访问延迟:用于限制两个请求间的时间间隔
并发请求限制:对单个网站,IP,或者全局的并发请求限制。
但是能否实现例如设定其每秒最多5个并发请求限制这样的功能。
看了一遍文档,并没有发现可用的信息。
请教各位大佬
查看了下Scrapy的文档,查到的部分限制中有:
访问延迟:用于限制两个请求间的时间间隔
并发请求限制:对单个网站,IP,或者全局的并发请求限制。
但是能否实现例如设定其每秒最多5个并发请求限制这样的功能。
看了一遍文档,并没有发现可用的信息。
请教各位大佬
4 回答4.5k 阅读✓ 已解决
1 回答3.3k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
看到这里: https://github.com/scrapy/scr... 限制每分钟 40个请求: