scrapy 使用start_requests发送post数据为什么就执行一次,怎样把它放到调度器里面,连续不断的执行

def start_requests(self):
    print ('正在回调')
    ps = self.list_CA.pop(0)
    yield scrapy.FormRequest(url=self.url, formdata={"data": '{voyageType:"OW",airCarrier:"CA",boardPointCode:' + '"' + str(ps[1]) + '"' + ',offPointCode:' + '"' + str(ps[0]) + '"' + ',departureDate:"2017-10-31",adultCount:"1",childrenCount:"0",type:"D",rewardType:"spe"}'}, dont_filter = True,callback=self.parse)
    
    

使用scrapy爬取一个网站,直接调用的接口,每次请求必须发送一个post数据,使用的是start_requests,这个方法只能执行一次,有没有什么替代的方法,我需要不停的发送不同的参数,急急急,在线等,。
对这一点的调度有些疑惑。

阅读 3.6k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏