scrapy selenium 循环刷新抓取问题

我想刷新一次 抓一次页面,但是现在是执行完刷新了之后再抓取最后一次刷新的页面

class JavaScriptMiddleware(object):

@classmethod
def process_request(cls, request, spider):
    for i in range(3):
        driver = webdriver.PhantomJS()
        sleep(3)
        driver.get(request.url)
        body = driver.page_source
        driver.quit()
        return HtmlResponse(request.url, encoding='utf-8', body=body, request=request)


阅读 2.1k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题