Scrapy一个非常奇怪的问题 利用scrapy shell访问得到的网页与用浏览器访问不一致

Question

如图 利用xpath对该链接定位提取url调用yield进行下一步的爬取
scrapy shell然后用xpath定位得到的网址是P2点进去是P4
利用浏览器访问得到的页面是P3
也就是说scrapy发起request得到的response并不与浏览器直接访问一致，请问这个问题的原因是什么？
发现这个问题起因是看到房源数据是13000套，然而我整个爬虫爬完也就3000多条数据，于是就拿scrapy shell试了一下，我看到有类似的提问也没有解决。求大佬指点一下问题在哪