2

前面两篇介绍的是 Beautiful Soup 4 的基本对象类型和文档树的遍历, 本篇介绍 Beautiful Soup 4 的文档搜索

搜索文档树主要使用两个方法 find() 和 find_all()

find_all():

find_all 是用于搜索节点中所有符合过滤条件的节点

那么它支持哪些过滤器呢?

过滤器的类型:

  • 字符串
  • 正则表达式
  • 列表
  • True
  • 方法

字符串:

查找文档中所有的<b>标签

soup.find_all('b')

正则表达式:

找出所有以b开头的标签

import re
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)

列表:

找到文档中所有<a>标签和<b>标签

soup.find_all(["a", "b"])

True:

True 可以匹配任何值, 但是不会返回字符串节点

for tag in soup.find_all(True):
    print(tag.name)

方法:

可以定义一个方法, 方法只接受一个元素参数, 如果这个方法返回 True 表示当前元素匹配并且被找到, 如果不是则反回 False

这里是官方文档上面的例子:

下面代码找到所有被文字包含的节点内容

from bs4 import NavigableString
def surrounded_by_strings(tag):
    return (isinstance(tag.next_element, NavigableString)
            and isinstance(tag.previous_element, NavigableString))

for tag in soup.find_all(surrounded_by_strings):
    print tag.name
    

find_all 的方法原型:

find_all( name , attrs , recursive , text , **kwargs )

name 参数:

name 参数可以查找所有名字为 name 的 tag, 字符串对象会被自动忽略掉

soup.find_all("p") 查找所有的 p 标签

keyword 参数:

soup.find_all(id='link2',class_='title') , 这个将会查找到同时满足这两个属性的标签,这里的class必须用class_传入参数,因为class是python中的关键词

有些属性不能通过以上方法直接搜索,比如html5中的data-*属性,不过可以通过attrs参数指定一个字典参数来搜索包含特殊属性的标签

data_soup.find_all(attrs={"data-foo": "value"})

text 参数:

通过 text 参数可以搜索文档中的字符串内容, 与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True

soup.find_all("a", text="Elsie")

limit 参数:

find_all() 方法返回全部的搜索结构, 如果文档树很大那么搜索会很慢, 如果我们不需要全部结果, 可以使用 limit 参数限制返回结果的数量, 效果与SQL中的limit关键字类似

soup.find_all("a", limit=2)

recursive 参数:

调用tag的 find_all() 方法时, Beautiful Soup 会检索当前 tag 的所有子孙节点,如果只想搜索 tag 的直接子节点, 可以使用参数 recursive=False

soup.html.find_all("title", recursive=False)

find():

find( name , attrs , recursive , text , **kwargs )

find_all() 方法将返回文档中符合条件的所有 tag, 尽管有时候我们只想得到一个结果, 比如文档中只有一个<body>标签,那么使用 find_all() 方法来查找<body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法, 下面两行代码是等价的:

soup.find_all('title', limit=1)
soup.find('title')

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表, 而 find() 方法直接返回结果

find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时, 返回 None

CSS选择器:

Beautiful Soup支持大部分的CSS选择器:

soup.select("body a")
soup.select("html head title")
soup.select("p > #link1")
soup.select(".sister")

更多详细用法戳: 官方文档 css 选择器

参考自 Beautiful Soup 4 官方文档.


Amauri
94 声望7 粉丝