phantomJS 如何发送post请求?

源网:https://credit1.gz.gov.cn/cre...
我想获取详情页的截图。
我用request.post 或是Scrapy的FormRequest能获取到详情页的信息。
但业务上要求要有详情页的截图。以前都是PhantomJS直接get这些网址的。但这个网站的网址不能拼接形成。
其实就想问,phantomJS有没有像request.post那样直接把参数传过去,然后获取到页面的方法。
另一种方法就是模拟登陆,然后不停地点,再back,这样很麻烦。

阅读 8.8k
2 个回答
新手上路,请多包涵

from selenium import webdriver

爬取页面源码

def selenium_spider(begin,end):

page_source_list = []
driver = webdriver.PhantomJS()
driver.get(url)
for x in range(begin,end+1):
    driver.find_element_by_class_name('page-skip').clear()
    driver.find_element_by_class_name('page-skip').send_keys(x)
    driver.find_element_by_class_name('page-btn').click()
    time.sleep(5)
    page_source = driver.page_source
    page_source_list.append(page_source)
return page_source_list

不知道是不是你说的那种,这种直接获取渲染后的页面源码。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题