参考scrapy-redis在github上使用的方法是
scsrapy默认获取的都是url,但我在项目中请求的URL都是固定,区别都在于请求数据不一致。
scrapy-redis是否有办法做到我向redis push 需要查询的数据,scrapy检测到后使用该数据查询
参考scrapy-redis在github上使用的方法是
scsrapy默认获取的都是url,但我在项目中请求的URL都是固定,区别都在于请求数据不一致。
scrapy-redis是否有办法做到我向redis push 需要查询的数据,scrapy检测到后使用该数据查询
2 回答5.1k 阅读✓ 已解决
2 回答1.1k 阅读✓ 已解决
4 回答1.4k 阅读✓ 已解决
3 回答1.3k 阅读✓ 已解决
3 回答1.2k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
可以往redis中存放json啊,参考下
next_requests
的方法,改成解析json。。。https://github.com/rmax/scrapy-redis/blob/master/src/scrapy_redis/spiders.py