爬虫r如何重复提交表单数据

比如说一个用户名和密码再加上验证码是没有问题的。
逻辑是这样的:

def start_requests(self):
    yield request(indexUrl, headers, callback=self.downloadPic)
def downloadPic(self, response):
    获取cookies,带上cookies来下载图片
    yield request(picUrl, headers, callback=self.handlePic)
def handlePic(self, response):
    # 识别验证码
    # 用户名和密码和验证码放到formdata里
    yield FormRequest(postUrl, formdata, headers, callback=self.parse)

但是我现在有很多个用户名和密码(假设存在本地),我想重复N次这样的过程,就改变提交的用户名和密码,请问怎么做?
我尝试过直接用for循环来取,作为self.name和self.password, 然后直接yield首页,像上面走得流程一样,但不行,不知道是不是异步搞得验证码的URL老是在变化。

阅读 3.4k
1 个回答

我是这样解决的,既然这个爬虫爬单个没有问题,那么干嘛还要在这个爬虫文件里面获取输入的数据呢?我直接用个脚本来获取输入数据,然后再调用这个爬虫不就行了吗?刚好数据和工具又分开,不用全部堆在一起弄得太复杂。
It works!
顺便一提,给scrapy传入额外的参数是这样的

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进