scrapy shell中使用response.xpath抓取为空

Question

https://www.gumtree.com/p/pro...，我想提取这个页面中的第一幅图片的src，使用的xpath表达式为'//*[@id="image-gallery"]//li[1]/img/@src'，使用火狐浏览器，在控制台用这个xpath可以提取出来，但是进行scrapy shell中的response.xpath就返回空值。希望老哥们能帮忙指导下。我是最近才开始接触爬虫，可能有些地方不知道，拜托各位指点迷津！

Answer 1

你在浏览器上提取是在渲染完毕的页面上提取的，代码里请求的结果是原始的response,你应该在浏览器network里看对应请求的原始response结果，根据这个结果来提取。

Answer 2

Thanks for sharing, it makes me a lot.