用scrapy进行页面爬取的时候发现每次只能请求一个页面,但是官网和百度上的帖子却说可以通过CONCURRENT_REQUESTS
来控制并发量,但是我试了还是没用?CONCURRENT_REQUESTS = 16
用scrapy进行页面爬取的时候发现每次只能请求一个页面,但是官网和百度上的帖子却说可以通过CONCURRENT_REQUESTS
来控制并发量,但是我试了还是没用?CONCURRENT_REQUESTS = 16
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决