请问动态网页能否使用爬虫抓取数据？脚本语言使用的powershell~

Question

请教一下，含有动态网页的网站有办法进行数据抓取吗？之前只做过简单的爬虫脚本，可以通过cookie登陆网站，提取静态网页的数据；

但动态网页的源码里不包含具体内容，网页上的链接也都是临时生成的。这样的话，能爬吗？如果可以的话，能不能大致说下用什么方法。。。多谢。。。

Answer 1

动态网页当然可以爬，不过用Powershell就比较困难了。可以改用Python这种第三方库众多的语言。爬动态网页原理也很简单，就是框架内置一个JavaScript引擎，然后执行获取的JS代码，生成出结果然后在解析网页，只不过比爬普通页面更慢一点。