问下,
scrapy爬虫,为啥我传进scrapy.Request去的是
https://www.tianyancha.com/reportContent/24505794/2017
然后在callback里打印出url变成
https://www.tianyancha.com/login?from=https://www.tianyancha.com/reportContent/24505794/2017
了
我先进行了模拟登陆
问下,
scrapy爬虫,为啥我传进scrapy.Request去的是
https://www.tianyancha.com/reportContent/24505794/2017
然后在callback里打印出url变成
https://www.tianyancha.com/login?from=https://www.tianyancha.com/reportContent/24505794/2017
了
我先进行了模拟登陆
2 回答4.9k 阅读✓ 已解决
2 回答1k 阅读✓ 已解决
3 回答1k 阅读✓ 已解决
4 回答805 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
1 回答1.6k 阅读✓ 已解决
1 回答1.1k 阅读✓ 已解决
你的模拟登陆失败了,服务器把你的请求重定向到登录页面去了
如果是利用cookie进行模拟登录的话可以试试把scrapy的cookie功能关闭