pyspider单步调试通过,但是到Dashboard改了状态run不成功。

pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。

clipboard.png
就直接finished。里面提示:

clipboard.png

但是为什么单步调试又是没问题的呢?

阅读 3.3k
2 个回答

看到 on_start 最后那个 +1 了吗,它产生了一条任务,但是可能是因为

  1. 已经抓过了,去重

  2. 已经处于活动状态(包括重试)
    没有抓取

我是模拟通过输入关键词,选择时间检索论文,单步调试的时候模拟操作是通过js输入关键词,时间,是行的通的。run行不通。我改成直接用检索结果的url run,就可以继续爬取了。所以就是我使用js模拟操作存在问题,可是一边可以,一边又不行。为什么?

clipboard.png

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题