问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

pyspider如何去重复url的？

头像
实属不易
    1545

    我想把多个项目的结果存在一起，希望A项目爬过的站点，在B项目中不要再爬了，可以做到吗？

    pyspider
    阅读 4k
    2 个回答
    得票最新
    头像
    足兆叉虫
      3.5k2411
      ✓ 已被采纳

      1. 你不能把 A 和 B 写在一个项目里面吗？

      2. 怎么定义「爬过的站点」？

      头像
      忆先
        4.2k2317

        召唤数据库吧，sqlite3就够用了

        撰写回答
        你尚未登录，登录后可以
        • 和开发者交流问题的细节
        • 关注并接收问题和回答的更新提醒
        • 参与内容的编辑和改进，让解决方法与时俱进
        推荐问题