Nodejs爬虫--抓取豆瓣电影网页数据（下）

接着上篇 Nodejs爬虫--抓取豆瓣电影网页数据（上）
本篇主要描述将上次抓取的数据存入mongodb数据库

前提：百度或谷歌mongodb的安装教程，安装本地并成功运行
推荐一款mongodb数据库可视化管理工具：Robomongo。可以加群264591039获取安装包或自行寻找资源

首先用npm安装第三方数据库操作包：mongoose.

关于mongoose详情请查看官方文档

npm install --save-dev mongoose

引入mongoose包开始对mongodb进行管理

当前目录下新建一个mongo.js文件方便管理，在该文件中引入相关包：

let mongoose = require('mongoose'),
    assert = require('assert');

<!--more-->

获取表构造器Schema并映射mongodb相应的collection

let Schema = mongoose.Schema;

let filmSchema = new Schema({       //自定义相应的表数据字段
        title: String,
        type: String,
        directories: String,
        scriptwriter: String,
        actors: String
    });
//映射collection并生成model对象用于管理数据表的增删改查
//默认是映射到名为films的collection
//若自定义表明则：let filmSchema = new Schema({..}, { collection: 'data' });  'data'即为自定义名称
let Film = mongoose.model('Film', filmSchema);      

连接mongodb数据库并exports Film对象

let db = mongoose.connect('mongodb://127.0.0.1:27017/spider');
db.connection.on('error', (err) => {
    console.log(`数据库连接失败：${err}`);
});
db.connection.on('open', () => {
    console.log('数据库连接成功');
});

module.exports = {Film: Film};

在spider.js中引入Film对象并添加入库操作代码

let mongo = require('./mongo');
//在请求网页的end函数中添加入库操作
xxxx.end((err, res) => {
    var $ = cheerio.load(res.text);     //用cheerio获取整个页面DOM对象
    var _data = {title:'', type: '', directories: '', scriptwriter: '', actors: ''};
    _data.title = $('#content h1 span').text();
    _data.directories = $('#info .attrs').eq(0).text();
    _data.scriptwriter = $('#info .attrs').eq(1).text();
    _data.actors = $('#info .attrs').eq(2).text();
    $('span[property="v:genre"]').each(function (index) {
        _data.type += ($(this).text() + (index == $('span[property="v:genre"]').length - 1 ? '' : '、'));
    });
    console.log(_data);
    mongo.Film.create(_data, (err, doc) => {
                        assert.equal(err, null);
                        console.log(doc);
                    });
});
            

运行spider.js，并查看数据库中的数据

node spider.js
//用上述提到的可视化工具查看数据库是否成功有数据入库