在上一篇文章的基础上增加获取百度贴吧的头像图片的功能,使用到的技术为XPath,Requests,具体实现如下:
1. 查看网页源代码
测试网页链接:http://tieba.baidu.com/p/3522395718?pn=1 通过Chrome定位头像的HTML的代码
每一楼层的标签是:
class="l_post j_l_post l_post_bright "
从楼层开始,直到定位到照片顺序应该是
2. 提取XPath信息
通过XPath一步步获取到<img>这一层,提取到这个标签中的src就可以获取到图片的url
ImgLink = ImgFilter.xpath('//div[@class="l_post j_l_post l_post_bright "]')[0]
links = ImgLink.xpath('//div[@class="d_author"]/ul/li/div[@class="icon_relative j_user_card"]/a/img/@data-tb-lazyload')
这里会遇到一个问题,如果第二个XPath的条件是/img/@src则会遇到一个问题:
使用requests获取到的html会有很多空白的头像
'http://tb2.bdstatic.com/tb/static-pb/img/head_80.jpg'
这是因为网页是分步加载的,首先使用默认的头像展示,再逐步下载自定义头像替换,因此还要得到自定义头像的地址,通过分析网页代码,可以发现:
<img username="Loveyqiang7" class="" src="http://tb2.bdstatic.com/tb/static-pb/img/head_80.jpg" data-tb-lazyload="http://tb.himg.baidu.com/sys/portrait/item/07c44c6f7665797169616e67372941">
“data-tb-lazyload”这个才是真正的自定义头像的链接地址
3. 去掉获取到的链接中的重复值
由于贴吧的不同的楼层是有可能是同一个人,即同一个头像的;为了节省空间,我们要去除掉重复的图像,在Python中可以通过函数set()去除列表重复值
links = list(set(links))
测试一下:
print("before set list:{0}".format(len(links)))
links = list(set(links))
print("after set list:{0}".format(len(links)))
测试结果:
before set list:27
after set list:21
成功消除掉了重复的链接
4.将链接存储到jpeg文件
Requests库中包含了获取数据的方法get(),可以使用该方法将链接存储到文件中
with open("img{0}.jpeg".format(i),"wb") as code:
code.write(graphic.content)
完整程序(可直接使用)
#-*-coding:utf8-*-
from lxml import etree
import requests
import re
def GetImgLink(url):
html = requests.get(url)
html = re.sub(r'charset=(/w*)', 'charset=UTF-8', html.text)
ImgFilter = etree.HTML(html)
ImgLink = ImgFilter.xpath('//div[@class="l_post j_l_post l_post_bright "]')[0]
links = ImgLink.xpath('//div[@class="d_author"]/ul/li/div[@class="icon_relative j_user_card"]/a/img/@data-tb-lazyload')
#links = ImgLink.xpath('//div[@class="d_author"]/ul/li/div[@class="icon_relative j_user_card"]/a/img/@src')
print(links)
print("before set list:{0}".format(len(links)))
links = list(set(links))
print("after set list:{0}".format(len(links)))
i = 0
for each_link in links:
graphic = requests.get(each_link)
with open("img{0}.jpeg".format(i),"wb") as code:
code.write(graphic.content)
i = i + 1
pagelink = 'http://tieba.baidu.com/p/3522395718?pn=1'
GetImgLink(pagelink)
测试结果:
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。