使用BeautifulSoup时对于overflow为hidden的怎么获取?

如果直接用requests,get以后,再用BeautifulSoup去处理,是找不到hidden的内容的。
如图所示:

clipboard.png
我想获取openBacklog里的内容,求教!

本人不是做前端的,所以对前端的东东不是很专业,还望各位大神不吝赐教。

阅读 4.1k
3 个回答

如果仅仅是获取内容,我觉得最好的方式是用正则的方式提取:

import re

string = soup.prettify()
match = re.search('openBacklog\("(.*?)"\)', string)
print(match.group(1)) 

有可能是, gets得到的源码本身就不全,有一些源码是js生成的,所以跟你查看dom的不一样。


两种方式吧

  1. 分析js产生的机制,主要是抓包,看看数据怎么通过哪些请求到js的,然后去模拟请求

  2. 使用selenium+plantomjs傻瓜式的抓取

给源地址才好帮你测试,

你右键点页面,选察看网页源代码,看看有没有你想要的内容在里面?
如果没有,说明是js动态生成的。

推荐问题