• 2
  • 新人请关照

scrapy 使用start_requests发送post数据为什么就执行一次,怎样把它放到调度器里面,连续不断的执行

def start_requests(self):
    print ('正在回调')
    ps = self.list_CA.pop(0)
    yield scrapy.FormRequest(url=self.url, formdata={"data": '{voyageType:"OW",airCarrier:"CA",boardPointCode:' + '"' + str(ps[1]) + '"' + ',offPointCode:' + '"' + str(ps[0]) + '"' + ',departureDate:"2017-10-31",adultCount:"1",childrenCount:"0",type:"D",rewardType:"spe"}'}, dont_filter = True,callback=self.parse)
    
    

使用scrapy爬取一个网站,直接调用的接口,每次请求必须发送一个post数据,使用的是start_requests,这个方法只能执行一次,有没有什么替代的方法,我需要不停的发送不同的参数,急急急,在线等,。
对这一点的调度有些疑惑。

阅读 2.2k
评论
    0 个回答
    撰写回答

    登录后参与交流、获取后续更新提醒

    相似问题
    推荐文章