crawlspider 登录后如何调用rules进行爬虫

看了很多教程,学着做了一下,发现运行始终是有问题。归纳起来,就是不知道登录之后,不知道怎么调用rule进行循环的爬虫。在登录之后去请求首页的时候,还是进入start_request或者parse_start_url,还是去提交登录页了,而不是从start_urls和 rules去进行爬虫。
苦思冥想,不得其解。

阅读 1.8k
1 个回答

去看看它的源码应该会有所帮助

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题