0

pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。


就直接finished。里面提示:

但是为什么单步调试又是没问题的呢?

查看全部 2 个回答

0

我是模拟通过输入关键词,选择时间检索论文,单步调试的时候模拟操作是通过js输入关键词,时间,是行的通的。run行不通。我改成直接用检索结果的url run,就可以继续爬取了。所以就是我使用js模拟操作存在问题,可是一边可以,一边又不行。为什么?

推荐答案

0

已采纳

看到 on_start 最后那个 +1 了吗,它产生了一条任务,但是可能是因为

  1. 已经抓过了,去重

  2. 已经处于活动状态(包括重试)
    没有抓取

SegmentFault

一起探索更多未知

下载 App