一个关于 node 爬虫大批量请求的问题

我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中

我现在做了几种尝试:

  1. 当请求次数很少(20次左右),一切正常
  2. 当请求次数过多后(200+),数据能够请求到,但是不能顺利保存
  3. 当请求次数超过500次后,直接内存溢出了

我想问问有什么方案能让异步数量小于20次?

阅读 2.1k
1 个回答
推荐问题
宣传栏