response <404...> 是出错了吗?
之后用 xpath 一直没有返回东西。xpath我用插件检查也是对的。
找个没有反爬的网站。
segmentfault 有反爬。
你输出 response.text
会发现其实是有拿到 segmentfault 的 response 内容的。
只不过内容是 404 的页面文本。
总结来说就是这不是 xpath 的问题,是你拿到的 response 内容就和你用浏览器访问的内容不同。所以你用(根据浏览器显示的) xpath 去获取内容自然会出错。所以你需要解决的是反爬问题。
另外,我之前也在找 xpath helper 插件,不过在 chrome 商店都没有找到,哪里找的可以分享一下吗?
3 回答2.8k 阅读✓ 已解决
2 回答1.7k 阅读✓ 已解决
2 回答1.5k 阅读✓ 已解决
1 回答1.8k 阅读✓ 已解决
4 回答1.6k 阅读
3 回答1.5k 阅读
2 回答1.1k 阅读✓ 已解决
首先404问题
你这个url https://segmentfault.com/serarch?q=python&page=1 确实是404的, 如下图我刚测试的我写错了,重新看看, 这是我用requests写的,你肯定scrapy哪里发送请求有问题, 还有就是你xpath语法有点问题(我好久没写xpath了,提示xpath语法报错)
xpath为空
这个是因为你response返回值为空?你可以输出验证下
print(response.text)
从而导致提取不到值