如果直接用requests,get以后,再用BeautifulSoup去处理,是找不到hidden的内容的。
如图所示:
我想获取openBacklog里的内容,求教!
本人不是做前端的,所以对前端的东东不是很专业,还望各位大神不吝赐教。
如果直接用requests,get以后,再用BeautifulSoup去处理,是找不到hidden的内容的。
如图所示:
我想获取openBacklog里的内容,求教!
本人不是做前端的,所以对前端的东东不是很专业,还望各位大神不吝赐教。
有可能是, gets得到的源码本身就不全,有一些源码是js生成的,所以跟你查看dom的不一样。
两种方式吧
分析js产生的机制,主要是抓包,看看数据怎么通过哪些请求到js的,然后去模拟请求
使用selenium+plantomjs傻瓜式的抓取
2 回答5.1k 阅读✓ 已解决
2 回答1.1k 阅读✓ 已解决
4 回答988 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
3 回答1.2k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
如果仅仅是获取内容,我觉得最好的方式是用正则的方式提取: