scrapy for循环请求页面时部分页面无返回

爬完没报错,找不到问题所在,有30多页,每页10条,只能获取到部分页的一两条数据,加起来也才 20多条记录
请问以下这样循环来获取有问题吗
大概的代码如下:(其他获取信息处理信息的代码就不放了)

def getCurList(self,response):
    for x in range(totalPage):
                    pageUrl=start_url+'&rPage='+str(x+1)
                    yield Request(pageUrl,headers=self.headers,callback=self.getPageList)
def getPageList(self,response):
    for good in detailUrlList:
        yield Request(detailUrl,headers=self.headers,callback=self.getDetail)
def getDetail(self,response):
    yield item
阅读 1.5k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进