nodejs爬虫如何控制请求数量？

Question

在用nodejs爬取网页内容的时候，如果请求数太多，有时候会导致抛出异常，提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库？或者怎么处理比较好？先谢谢了！

Answer 1

这个或许有用 https://github.com/SGrondin/b...

Answer 2

nodejs没有sleep之类的函数。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

Answer 3

async ？

Answer 4

async模块mapLimit或eachLimit函数