问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
开发者社区
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

scrapy爬取的网址遇到404应该怎么处理？

头像
kanjiushi006
    1.6k53240254

    scrapy爬取的网址,其中一些是404页面时，应该怎么处理？

    scrapy
    阅读 5.5k
    1 个回答
    得票最新
    头像
    zyuu2
      26

      直接忽略，重试若干次后忽略，用日志记录。。。

      撰写回答
      你尚未登录，登录后可以
      • 和开发者交流问题的细节
      • 关注并接收问题和回答的更新提醒
      • 参与内容的编辑和改进，让解决方法与时俱进
      推荐问题