一个关于 node 爬虫大批量请求的问题

Question

我的需求是：node 需要短时间内爬取一个接口数据若干次次，每一条的数据量大概有5M，得到的数据存储在mongo 中

我现在做了几种尝试：

1. 当请求次数很少（20次左右），一切正常
2. 当请求次数过多后（200+），数据能够请求到，但是不能顺利保存
3. 当请求次数超过500次后，直接内存溢出了

我想问问有什么方案能让异步数量小于20次？

Answer 1

并发控制啊，node爬虫不做并发控制肯定内存溢出啊。

用 async npm包 , async.maplimt 控制并发

或者自己造一个简单的轮子15 行代码实现并发控制（javascript）