用Nodejs抓虫遇到一个循环请求问题

Question

用Nodejs抓虫遇到一个循环请求问题，目前只获取到第一个分页，这个问题怎么获取分页总数，然后获取每一页的页面数据？

var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();

app.get('/',function (req,res) {
    var id = 1;
    url = 'http://www.zcool.com.cn/zteam/ZNDg2MzI=.html?sort=0&p='+ id +'#titleMaoDian';
    console.log(id);
    request(url,function(err,res,html){
        if(!err){
            var $ = cheerio.load(html);
            var endId = $('.bigPage').find('a.pageNext').prev().text();
            for(id=1;id<=endId;id++){
                var title;
                $('.camLiTitleC').filter(function(){
                    var data = $(this);
                    title = data.text();
                    console.log('作品标题：' + title);
                })
            }
        }
    })
});

app.listen('8080'); //使用8080端口
exports = module.exports = app;

Answer 1

先将url后缀空出数字部分，然后可以定义一个函数，再递归调用自身，每次加一
具体操作可以看下我的文章（羞涩..）Node.js实现简易爬虫

Answer 2

我打开你的页面总共只有两页数据，不确定几十页几百页的怎么显示。
你可以判断有没有下一页来递归采集。判断

<a href="/zteam/ZNDg2MzI=.html?sort=0&amp;p=2#titleMaoDian" btnmode="true" hidefocus="" class="pageNext down"><b></b></a>  

是否存在class="pageNext down"的a标签，有就提取a标签的href，下一次采集href。

soonfy

Answer 3

给外层一个开关，获取不到endId的时候或者endId为0的时候讲开关关闭，遇到开关关闭就break或者return不就行了。