初学node之node爬虫

前言

利用爬虫可以做很多事情，查找资料，分享数据，挖掘用户、粉丝。自从前端有了node之后，再也不要去羡慕其他的后端同学。

目标

找到几千个知乎用户，在其中找到妹子头像并下载下来。

准备工作:

1.项目初始化，执行npm init,来初始化package.json
2.npm install request —save
3.npm install async --save

文件中需要引入的包
var request = require('request');
var fs = require('fs');
var async = require('async');

爬虫思路

爬虫分两种情况，第一种是用cheerio模块，获取到html的节点，从节点中拿到数据，比较适合直接用后端语言来渲染的页面。第二种是通过调用爬取网站的接口请求数据。

先登录知乎，通过F12控制台找到模拟登陆知乎的办法。找到一个有关注者的用户，打开他的关注列表，可以在XHR中找到获取关注列表的API。我们要做的就是通过这个api来获取大量的用户数据，再对用户信息处理。找到我们想得到的数据。

开始

模拟登陆

先找到关注列表的API

var url = "https://www.zhihu.com/api/v4/members/ni-ba-tie-ren/followees?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=0&limit=20";

直接对上面的链接请求，会发出以下信息,并不会有返回的数据

{
   "message": "身份未经过验证",
   "code": 100,
   "name": "AuthenticationException"
 }

在请求的头部加上登陆之后的authorization信息，请求成功。

"authorization": "Bearer Mi4wQUJETTJlanBOQWtBVU1LcDk2QVlDeGNBQUFCaEFsVk5neWJhV0FCWXJueEs2bjJwcUYwdzBTdmVpYmxVS1hmWkl3|1488100019|625fed8bf4dee0970f731c7ecfba9f1886ca4a5b"

获取大量的用户数据

var url = "https://www.zhihu.com/api/v4/members/ni-ba-tie-ren/followees?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=0&limit=20";

var zurl = "https://www.zhihu.com/api/v4/members/demouser/followees?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=0&limit=20";

//request请求的options
var options = {
    url: url,
    headers: {
        "authorization": "Bearer Mi4wQUJETTJlanBOQWtBVU1LcDk2QVlDeGNBQUFCaEFsVk5neWJhV0FCWXJueEs2bjJwcUYwdzBTdmVpYmxVS1hmWkl3|1488100019|625fed8bf4dee0970f731c7ecfba9f1886ca4a5b"
    }
}

function getDataList(url) {
    options.url = url;
    request.get(options, function(error, response, body) {
        if(!error && response.statusCode == 200) {
            var response = JSON.parse(response.body);
            var zhList = response.data;
            zhList.forEach(function(item) {
                //item.gender == 0 性别判断
                if(item.gender == 0) {
                    console.log(`正在抓取${item.avatar_url}`)
                    users.push({
                        "name": item.name,
                        "img": item.avatar_url.replace("_is", ""),
                        "url_token": item.url_token
                    })
                }
            })
            //is_end当前用户的关注用户是否到最后一页
            if(response.paging.is_end) {
                //这里判断抓取的条数
                if(users.length >= 1000) {
                    console.log(`抓取完成`);
                    downLoadContent(JSON.stringify(users));
                    return;
                } else {
                    console.log(`第${i+1}个用户的数据`);
                    getDataList(zurl.replace("demouser", users[i].url_token))
                    i++;
                }
            } else {
                if(users.length >= 1000) {
                    console.log(`抓取完成`);
                    downLoadContent(JSON.stringify(users));
                    return;
                }
                getDataList(response.paging.next);
            }
        }
    })
}

把数据下载保存到data.js

function downLoadContent(cont) {
    fs.appendFile('./' + 'data.js', "module.exports =" + cont, 'utf-8', function(err) {
        if(err) {
            console.log(err);
        } else
            console.log('success');
    });
}

下载图片

在下载图片之前，会用到eyekey提供的人脸识别的API。之前获取的数据虽然都是 item.gender == 0 的。但并不代表着她们的头像都会是妹子的头像。所以为了提高下载图片的高质量，还是先调用一下eyekey的接口识别一下。

####识别API

var eyeUrl = "http://api.eyekey.com/face/Check/checking";

var options = {
    "app_id": "f89ae61fd63d4a63842277e9144a6bd2",
    "app_key": "af1cd33549c54b27ae24aeb041865da2",
    "url": "https://pic4.zhimg.com/43fda2d268bd17c561ab94d3cb8c80eb.jpg"
}

function face(item) {
    options.url = item.img;
    request.post({
        url: eyeUrl,
        form: options
    }, function(error, response, body) {
        if(!error && response.statusCode == 200) {
            var data = JSON.parse(body);
            try {
                if(data.face[0].attribute.gender == 'Female') {
                    console.log(`正在下载${item.img}`);
                    downLoadImg(item)
                }
            } catch(e) {
                console.log(`验证失败${item.img}~`);
            }
        }
    })
}

下载图片方法

function downLoadImg(image) {
    request.head(image.img, function(err, res, body) {
        if(err) {
            console.log(err);
        }
    });
    request(image.img).pipe(fs.createWriteStream('./image/' + image.name + Date.now() + '.' + image.img.substring(image.img.lastIndexOf(".") + 1, image.img.length)));
}

开始下载

function startDownLoad(imgdata){
    //控制并发量,在5个以内
    async.eachLimit(imgdata, 3, function (item, callback) {
        face(item);
        callback();
    }, function (err) {
        if(err) {
            console.log(err);
        } else {
            console.log('success!');
        }
    });
}

1.getDataList(url) #获取数据的入口,把数据保存到文件中
2.startDownLoad(imgdata) #下载图片数据的入口,把数据拿出来分享下载
3.在命令行下依次执行两个文件.......

执行结果

---

作者信息
原文作者系力谱宿云 LeapCloud 团队_UX成员：牛放 【原创】

相关文章推荐
多屏互动——H5中级进阶
前端，想说爱你不容易！