什么是爬虫
我理解的爬虫实际就是从网页扒数据,和用浏览器浏览网页是一样的,不同在于使用代码实现.
用Python扒百度
import urllib.request
response = urllib.request.urlopen('https://www.baidu.com/')
result = response.read().decode('utf-8')
print(result)输出:
<html>
<head>
<script>
location.replace(location.href.replace("https://","http://"));
</script>
</head>
<body>
<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>获取的是一个html,我们平时用浏览器访问网站实际上就是向服务器发送请求,然后下载对应的html,js,css文件,然后通过浏览器渲染出来.
扒豆瓣官网,获取的仍旧是一个HTML,扒掘金,则是一堆看不懂的东西.
既然是扒数据,js,css是不需要的,需要的是图片,该怎么扒图片呢?
既然获取到了html,那么从中查找src就好了,可以通过正则匹配图片路径,拿到路径,就可以利用Python库下载图片缓存到本地.
def get_img(html):
//匹配图片路径的正则
regex = r'https://.[^\s]+?.jpg|https://.[^\s]+?.png'
//生成模型对象
imgre = re.compile(regex)
//获取匹配的列表
imgUrlList = re.findall(imgre,html)
print('imgUrlList {}'.format(len(imgUrlList)))
x = 0
for imgUrl in imgUrlList:
x += 1
//下载并保存至指定路径 urllib.request.urlretrieve(imgUrl,'/Users/ivt/Desktop/img3/%s.jpg'%x)
完美
发现很多地方的图片并不能扒下来,比如QQ和微博相册,关于QQ空间的相册大概有反扒的防护,需要模拟登陆访问才行.
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。