小白爬虫scrapy第五篇

接下来将数据保存到数据库中
在项目路径下创建一个目录名字叫做:mysqlpipelines以便区分
创建将其他目录的__init__.py文件拷贝一份放入该目录
然后可以正式开始吧爬取的数据如何存放在数据库中了,客观代码来了

打开settings.py文件在最下面添加
# configure MySQL
MYSQL_HOSTS = '127.0.0.1'#数据库地址
MYSQL_USER = 'root'#数据库用户名
MYSQL_PASSWORD = 'root'#数据库密码
MYSQL_PORT = '3306'#数据库端口
MYSQL_DB = 'test'#数据库中test库

由于我的数据库是本地的那就所以直接酱紫
之后呢,在mysqlpipelines目录中新建一个sql.py
代码如下

import mysql.connector
from dingdian import settings
# 引用配置文件
MYSQL_HOSTS = settings.MYSQL_HOSTS
MYSQL_USER = settings.MYSQL_USER
MYSQL_PASSWORD = settings.MYSQL_PASSWORD
MYSQL_PORT = settings.MYSQL_PORT
MYSQL_DB = settings.MYSQL_DB
# 初始化MYSQL游标操作
cnx = mysql.connector.connect(user=MYSQL_USER, password=MYSQL_PASSWORD, host=MYSQL_HOSTS, database=MYSQL_DB)
cur = cnx.cursor(buffered=True)

# 定义一个sql类
class Sql:
    # @classmethod 做类修饰,相当于静态类
    # 定义函数,将函数中的变量保存到数据库中
    @classmethod
    def insert_dd_name(cls, video_name, video_time, video_imgurl, video_url):
        sql = "INSERT INTO video_info(video_name, video_time, video_imgurl, video_url)
            VALUES(%(video_name)s, %(video_time)s, %(video_imgurl)s, %(video_url)s)"
        value = {'video_name' : video_name,
                 'video_time': video_time ,
                 'video_imgurl': video_imgurl ,
                 'video_url': video_url }
        print(sql, value)
        cur.execute(sql, value)
        cnx.commit()
        pass
        
    # 查找是否有重复的小说编号有则返回1 没有则返回0
    @classmethod
    def select_name(cls, video_name):
        sql = 'SELECT EXISTS(SELECT 1 FROM video_info WHERE video_name= %(video_name)s)'
        value = {
            'video_name': video_name
        }
        cur.execute(sql, value)
        return cur.fetchall()[0]

上面代码中import mysql.connector可能会报错,如果报错的话就去百度python如何下载数据库连接包吧
然后继续在mysqlpipelines创建一个pipelines.py
代码如下:

from .sql import Sql
from AiQuer.items import AiquerItem

class DingdianPipeline(object):

    def process_item(self, item, spider):
        if isinstance(item, AiquerItem):
            video_name= item['video_name']
            ret = Sql.select_name(video_name)
            if ret[0] == 1:
                print(u'已存在')
            else:
                video_name= item['video_name']
                video_time= item['video_time']
                video_imgurl= item['video_imgurl']
                video_url= item['video_url']
                
                Sql.insert_dd_name(video_name, video_time, video_imgurl, video_url)
                print(u'开始存视频信息')
        return item

最后在settings.py里面去注册一下DingdianPipeline
找到下面这一段

# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'AiQuer.mysqlpipelines.pipelines.AiquerPipeline': 300,
}

注:我在这里面没有建立数据库表请同学们自己去创建表吧
启用后你会发现数据库有你选择用户的所有视频,哈哈哈~
python的就到这儿了.如果要详细了解进阶的话就看python的scrapy文档吧!
附上链接Scrapy入门教程.拜拜~