说明:
绿框部分分别是:1、请求返回200;2、返回正确内容。
但是,应该返回100条数据,现在才返回14条,绿框部分显示的就是第14条数据。
红色框显示抓取了14条数据,然后后面就不停的<at 0 pages/min>...
我只好shutdown.
解释:
我设置了DOWNLOAD_TIMEOUT = 1200,DOWNLOAD_DELAY=1。也用了useragentmiddleware(模拟浏览器)。
不明白的地方:
这种情况是下载超时还是请求超时造成?如何解决?谢谢!
说明:
绿框部分分别是:1、请求返回200;2、返回正确内容。
但是,应该返回100条数据,现在才返回14条,绿框部分显示的就是第14条数据。
红色框显示抓取了14条数据,然后后面就不停的<at 0 pages/min>...
我只好shutdown.
解释:
我设置了DOWNLOAD_TIMEOUT = 1200,DOWNLOAD_DELAY=1。也用了useragentmiddleware(模拟浏览器)。
不明白的地方:
这种情况是下载超时还是请求超时造成?如何解决?谢谢!
4 回答4.5k 阅读✓ 已解决
1 回答3.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
2 回答431 阅读✓ 已解决