def start_requests(self):
print ('正在回调')
ps = self.list_CA.pop(0)
yield scrapy.FormRequest(url=self.url, formdata={"data": '{voyageType:"OW",airCarrier:"CA",boardPointCode:' + '"' + str(ps[1]) + '"' + ',offPointCode:' + '"' + str(ps[0]) + '"' + ',departureDate:"2017-10-31",adultCount:"1",childrenCount:"0",type:"D",rewardType:"spe"}'}, dont_filter = True,callback=self.parse)
使用scrapy爬取一个网站,直接调用的接口,每次请求必须发送一个post数据,使用的是start_requests,这个方法只能执行一次,有没有什么替代的方法,我需要不停的发送不同的参数,急急急,在线等,。
对这一点的调度有些疑惑。