如何判断是下载超时还是request请求超时?

图片描述

说明:
绿框部分分别是:1、请求返回200;2、返回正确内容。

但是,应该返回100条数据,现在才返回14条,绿框部分显示的就是第14条数据。

红色框显示抓取了14条数据,然后后面就不停的<at 0 pages/min>...

我只好shutdown.

解释:
我设置了DOWNLOAD_TIMEOUT = 1200,DOWNLOAD_DELAY=1。也用了useragentmiddleware(模拟浏览器)。

不明白的地方
这种情况是下载超时还是请求超时造成?如何解决?谢谢!

阅读 5.8k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题