请教scrapy的需求矛盾问题!!!很纠结!!

巴啦啦拉粑粑
  • 4
新手上路,请多包涵

通过scrapy爬一个api,有很多页数据,其中response中有一个lastId参数,用于翻页,并且是发起request的必须参数。lastId不是简单的数字,而是该页最后一个用户的id,完全没有规律,lastId实时变化(数据不断更新),所以只能一页一页的爬取,因为爬了第一页并获取lastId,才能爬第二页。

那么问题来了,scrapy是异步的,但是如上所述,整个过程似乎是只能同步,并且是阻塞的。那么这跟scrapy异步高性能的特点截然相反,是不是用不了scrapy?

求大神指点!!!

回复
阅读 1.1k
2 个回答

requests不香吗

你问scrapy支不支持分页抓取的需求, 肯定是支持的.

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏