我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中
我现在做了几种尝试:
- 当请求次数很少(20次左右),一切正常
- 当请求次数过多后(200+),数据能够请求到,但是不能顺利保存
- 当请求次数超过500次后,直接内存溢出了
我想问问有什么方案能让异步数量小于20次?
我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中
我现在做了几种尝试:
我想问问有什么方案能让异步数量小于20次?
27 回答14.9k 阅读
8 回答3.8k 阅读✓ 已解决
6 回答1.7k 阅读✓ 已解决
5 回答5.5k 阅读✓ 已解决
4 回答1.8k 阅读✓ 已解决
3 回答1.9k 阅读
4 回答2.4k 阅读✓ 已解决
并发控制啊,node爬虫不做并发控制肯定内存溢出啊。
用 async npm包 ,
async.maplimt
控制并发或者自己造一个简单的轮子15 行代码实现并发控制(javascript)