node写爬虫,mongdb存储数据。上千条的量把mongodb卡死了

for循环,几百页,每页二十条数据。不知道是不是连接数太多的缘故,跑几条就提示连接不到mongodb了。

不知道有没有什么办法解决下。

阅读 1.6k
1 个回答

mongodb链接不是一个就够了么,好像不会有问题吧。还是有问题你可以写成队列同时执行20条,有执行完的出队新任务入队。

推荐问题