我在mongodb里存了4万个url,我想对每一个url进行爬取,那么在start_requests()方法里,应该用怎样的方法比较好呢?解析函数和其他的我已经写好了。
我自己一开始是想直接取出所有的url,组成一个list,用for循环去yield Request,但是我总感觉这个办法很蠢。。。初学者,大伙给点意见,谢谢啦~
我在mongodb里存了4万个url,我想对每一个url进行爬取,那么在start_requests()方法里,应该用怎样的方法比较好呢?解析函数和其他的我已经写好了。
我自己一开始是想直接取出所有的url,组成一个list,用for循环去yield Request,但是我总感觉这个办法很蠢。。。初学者,大伙给点意见,谢谢啦~
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答2.9k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
先从 mongodb 中提取所有 url 到 redis 队列中, 然后再循环队列取出 url: