问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
开发者社区
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

pyspider 是否支持mongodb集群作为taskdb

头像
root88
    -14
    新手上路，请多包涵

    问题描述

    抓取类似知乎的回答 由于知乎的回答有的非常多 所以用了response.save来存前面爬去的结果

    由于知乎站点不能爬取太快 可能有导致任务不能及时完成

    所以taskdb需要存取的数据非常多 那个项目的taskdb接近250GB

    你期待的结果是什么？实际看到的错误信息又是什么？

    pyspider是否支持mongodb集群作为taskdb
    然后应该怎么配置...

    pyspiderpython
    阅读 2.2k
    1 个回答
    得票最新
    头像
    Laoyuan
      110117
      撰写回答
      你尚未登录，登录后可以
      • 和开发者交流问题的细节
      • 关注并接收问题和回答的更新提醒
      • 参与内容的编辑和改进，让解决方法与时俱进
      推荐问题