问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
开发者社区
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

python网页爬虫的多线程

头像
SevenAmy
    28224

    python3.4用threading模块做多线程并发式的爬虫，开始启动十个线程都是好的，爬到最后的时候只剩下主线程存活。也就是爬到后面的时候只有一个线程活动。中间会有异常存在，捕获了并且抛出了异常，这些异常是否会导致子线程锁死？如果会，怎么解决线程在锁死的情况下重启继续执行。还有就是有哪些原因会导致最后只剩下一个线程活动？

    python网页爬虫
    阅读 6.1k
    4 个回答
    得票最新
    头像
    罗永浩叔叔
      17211
      头像
      ccwenlin
        901

        你看一下卡在哪里了，你这么点信息，别人也帮不到你

        头像
        薛非
          1
          新手上路，请多包涵

          话说我也遇到了这个问题，最后爬的特别慢，应该是只剩一个了

          头像
          代号_失控
            2
            新手上路，请多包涵

            是不是一些共享资源的锁的问题

            撰写回答
            你尚未登录，登录后可以
            • 和开发者交流问题的细节
            • 关注并接收问题和回答的更新提醒
            • 参与内容的编辑和改进，让解决方法与时俱进
            推荐问题