源网:https://credit1.gz.gov.cn/cre...
我想获取详情页的截图。
我用request.post 或是Scrapy的FormRequest能获取到详情页的信息。
但业务上要求要有详情页的截图。以前都是PhantomJS直接get这些网址的。但这个网站的网址不能拼接形成。
其实就想问,phantomJS有没有像request.post那样直接把参数传过去,然后获取到页面的方法。
另一种方法就是模拟登陆,然后不停地点,再back,这样很麻烦。
源网:https://credit1.gz.gov.cn/cre...
我想获取详情页的截图。
我用request.post 或是Scrapy的FormRequest能获取到详情页的信息。
但业务上要求要有详情页的截图。以前都是PhantomJS直接get这些网址的。但这个网站的网址不能拼接形成。
其实就想问,phantomJS有没有像request.post那样直接把参数传过去,然后获取到页面的方法。
另一种方法就是模拟登陆,然后不停地点,再back,这样很麻烦。
from selenium import webdriver
def selenium_spider(begin,end):
page_source_list = []
driver = webdriver.PhantomJS()
driver.get(url)
for x in range(begin,end+1):
driver.find_element_by_class_name('page-skip').clear()
driver.find_element_by_class_name('page-skip').send_keys(x)
driver.find_element_by_class_name('page-btn').click()
time.sleep(5)
page_source = driver.page_source
page_source_list.append(page_source)
return page_source_list
不知道是不是你说的那种,这种直接获取渲染后的页面源码。
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
用open()
http://phantomjs.org/api/webp...