beautifulsoup获取网页内容的问题

Question

我要的是这个里面的内容
<div class="talk-article__body talk-transcript__body">

PYTHON代码：

neirong=soup.find('div',{'class':'talk-article__body talk-transcript__body'})

但是返回的结果是空。这个选择器是不是写错了？

Answer 1

• 个人觉得用BeautifulSoup来解析网页的时候，如果楼主打算通过css特性来进行元素的定位的话，最好还是使用soup.select()，这个方法可以用class的value当参数也可以用标签的的attribute当参数，很方便，用于搜索单一标签最好用，同时参数支持css选择器字符串，比如：soup.select("#id > .class a.title").

• soup.find()方法目前好像用的不多，不知道是不是BeautifulSoup4弃用了。现在一般只要出现find，就是find_all()等方法。
  以上详细参考“超级汤”的中文文档：http://beautifulsoup.readthed...

Answer 2

neirong=soup.find_all('div',class_='talk-article__body talk-transcript__body')

https://www.crummy.com/softwa...

Answer 3

参照：https://www.crummy.com/softwa...中给出的说明，正确的使用方式是：
neirong=soup.find('div',class_='talk-article__body talk-transcript__body')

为了获取div包含的内容，进一步调用neirong.contents即可

Answer 4

neirong = soup.select('.talk-article__body.talk-transcript__body')

Answer 5

你从浏览器看到的内容有js动态生成的,用bs匹配不到,我发现看到的比较奇怪的class名基本都是js生成的

Answer 6

使用find_all吧,find不能用于class