爬完没报错,找不到问题所在,有30多页,每页10条,只能获取到部分页的一两条数据,加起来也才 20多条记录
请问以下这样循环来获取有问题吗
大概的代码如下:(其他获取信息处理信息的代码就不放了)
def getCurList(self,response):
for x in range(totalPage):
pageUrl=start_url+'&rPage='+str(x+1)
yield Request(pageUrl,headers=self.headers,callback=self.getPageList)
def getPageList(self,response):
for good in detailUrlList:
yield Request(detailUrl,headers=self.headers,callback=self.getDetail)
def getDetail(self,response):
yield item