我需要给APP写一个爬取银行网站信息的脚本,银行的页面是多个iframe嵌套的,不能直接获取到HTML,所以我就用了selenium+phantomjs。
已经能成功获取网站的信息了,就是运行速度有点慢,初始化一个web driver就用去了2-3S,请问如何能够提高速度。以及如果有别的方案可以实现这个功能而不必使用selenium也可以说一下,谢谢大家。
我需要给APP写一个爬取银行网站信息的脚本,银行的页面是多个iframe嵌套的,不能直接获取到HTML,所以我就用了selenium+phantomjs。
已经能成功获取网站的信息了,就是运行速度有点慢,初始化一个web driver就用去了2-3S,请问如何能够提高速度。以及如果有别的方案可以实现这个功能而不必使用selenium也可以说一下,谢谢大家。
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
这个初始化基本很难提升,毕竟他需要启动的是一个浏览器,不过还是可以减少css,图片加载来提升些速度,当然了,这相对于启动速度还是优化的很少的。
iframe也是基于http请求的,如果你可以分析出来接口,那么直接发请求就可以了。