爬虫学习笔记：爬取网站图片

今天练习了用爬虫批量爬取网站文件。练习对象是一个妹子图片网站，网址在代码里有哈哈哈，最后实现了将妹子的大图批量下载到电脑里，好爽嘿嘿嘿。收获如下：

将远程文件下载到本地用的是urlretrieve方法，他主要有两个参数：文件的网址和要存储的文件名。其中第二个参数要特别注意：要到文件名才行，不能只是路径。而文件名的构造采用了如下的代码，暂时还不太懂，但是先学会再说：

x =0
for item in imgurl:
    urlretrieve(item,'/Users/zengyichao/Desktop/工作零碎文件/2.21/test4/'+'%s.jpg'%x)
    x+=1

import requests
from bs4 import BeautifulSoup
import time
from urllib.request import urlretrieve
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

imgurl = []

def get_img(url):
        res = requests.get(url, headers = headers)
        res.encoding = 'utf-8'
        soup = BeautifulSoup(res.text,'html.parser')
        imgs = soup.select('#big-pic > p > a > img')
        for img in imgs:
            href = img.get('src')
            imgurl.append(href)


#
# url = 'http://www.mmonly.cc/mmtp/xgmn/198663.html'
# get_img(url)

urls = ['http://www.mmonly.cc/mmtp/xgmn/100306_{}.html'.format(str(i)) for i in range(2,31)]
for url in urls:
    get_img(url)




x =0
for item in imgurl:
    urlretrieve(item,'/Users/zengyichao/Desktop/工作零碎文件/2.21/test4/'+'%s.jpg'%x)
    x+=1

print(imgurl)