python 利用beautifulSoup提取页面多个标签的文本内容

初学beautifulsoup解析库,拿一个招聘网页练手,想达到提取多个标签的文本内容,但是目前只可以提取到单个标签的单个文本内容,多标签的文本如何提取?

from requests.exceptions import RequestException
import requests
from bs4 import BeautifulSoup


def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    soup = BeautifulSoup(html,'lxml')
    html = soup.find_all(class_='infolist-row')
    for a in html:
        print(a.find_all('a')[0])

def main():
    url = 'https://www.0951job.com/jobs/jobs-list.php'
    html = get_one_page(url)
    parse_one_page(html)

if __name__ == '__main__':
    main()

页面url:https://www.0951job.com/jobs/...
class_='infolist-row'是提取内容的主节点,其余元素是副节点
所以请教大佬,如何提取副节点文本内容并且遍历以列表形式。是多次解析?
请大佬指点一下,谢谢

阅读 9.9k
1 个回答

比如你要a.find_all('a')0链接url成列表的话

l = [a.find_all('a')[0]['href'] for a in html] #这样l就是一个url的列表
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题