/*控制并发条件下抓取*/
router.get('/limit', function(req, res, next){
superagent.get(mainUrl)
.end(function (err,res) {
if(err){//错误处理
console.log(err);
}
var topicUrls = [];//收集热点链接
var $ = cheerio.load(res.text);
$('#topic_list .topic_title').each(function (idx, element) {//DOM操作
var $element = $(element);
var href = url.resolve(mainUrl, $element.attr('href'));
topicUrls.push(href);
});
var fetchUrl = function (url,callback) {
superagent.get(url)
.end(function (err, res) {
if(err){//错误处理
console.log(err);
}
console.log('fetch ' + url + ' successful');
var topicUrl = url;
var topocHtml = res.text;
var $ = cheerio.load(topocHtml);
callback(null, {
title : $('.topic_full_title').text().trim(),
href : topicUrl,
comment1 : $('.reply_content').eq(0).text().trim(),
});
});
};
async.mapLimit(topicUrls, 5, //控制并发在5次
function (url,callback) {//callback为动态回调函数
fetchUrl(url,callback);
},
function (err, result) {
console.log('final:');
console.log(result);
});
});
});
function (url,callback) {//callback为动态回调函数
fetchUrl(url,callback);
},
和
callback(null, {
title : $('.topic_full_title').text().trim(),
href : topicUrl,
comment1 : $('.reply_content').eq(0).text().trim(),
});
这些callback有什么不一样吗?
最后一个callback里面的参数代表什么意思啊?
我都没有定义过callback也能当回调函数用吗?
本人nodejs新手。
callback其实是个很蛋疼的东西,你可以理解为函数的占位符,就是达到某种条件时才会执行的函数。
最后一个callback里面是用cheerio模块的选择器来获取和处理数据
如果是node新人,那么开始就看这样的东西是不是有点深。。。。。
应该看的是这个-->