scrapy 中如何在yield requests后返回相应的状态或数据?

要爬取的是一系列页面,但不知道一共有多少页,假设100最大100页,希望当页面没有相应json数据的时候跳出整个循环,高手能指点一下吗?

def start_requests(self):
    for _link in self.start_urls:
        for i in range(1,100)::
            link = _link.replace('number',str(stock_no)).replace('rgs',rgs)
                    requests = Request(
                    url=link,
                    meta={"sto":sto},
                    callback=self.godetail
                    )
            yield requests
阅读 3k
1 个回答
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题