看了很多教程,学着做了一下,发现运行始终是有问题。归纳起来,就是不知道登录之后,不知道怎么调用rule进行循环的爬虫。在登录之后去请求首页的时候,还是进入start_request或者parse_start_url,还是去提交登录页了,而不是从start_urls和 rules去进行爬虫。
苦思冥想,不得其解。
看了很多教程,学着做了一下,发现运行始终是有问题。归纳起来,就是不知道登录之后,不知道怎么调用rule进行循环的爬虫。在登录之后去请求首页的时候,还是进入start_request或者parse_start_url,还是去提交登录页了,而不是从start_urls和 rules去进行爬虫。
苦思冥想,不得其解。
2 回答5k 阅读✓ 已解决
2 回答1k 阅读✓ 已解决
4 回答935 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
去看看它的源码应该会有所帮助