pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。
就直接finished。里面提示:
但是为什么单步调试又是没问题的呢?
pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。
就直接finished。里面提示:
但是为什么单步调试又是没问题的呢?
我是模拟通过输入关键词,选择时间检索论文,单步调试的时候模拟操作是通过js输入关键词,时间,是行的通的。run行不通。我改成直接用检索结果的url run,就可以继续爬取了。所以就是我使用js模拟操作存在问题,可是一边可以,一边又不行。为什么?
4 回答4.4k 阅读✓ 已解决
1 回答3.1k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
1 回答4.4k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
看到 on_start 最后那个 +1 了吗,它产生了一条任务,但是可能是因为
已经抓过了,去重
已经处于活动状态(包括重试)
没有抓取