要爬取的是一系列页面,但不知道一共有多少页,假设100最大100页,希望当页面没有相应json数据的时候跳出整个循环,高手能指点一下吗?
def start_requests(self):
for _link in self.start_urls:
for i in range(1,100)::
link = _link.replace('number',str(stock_no)).replace('rgs',rgs)
requests = Request(
url=link,
meta={"sto":sto},
callback=self.godetail
)
yield requests
楼主我和你一样啊,也是一直找不到这答案啊。。。