使用scrapy框架爬百度图片被墙

Question

请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。

https://image.baidu.com/searc...

Answer 1

在 settings.py 将 ROBOTSTXT_OBEY = False 试试。

Answer 2

不要加hearders试试

Answer 3

赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。