superagent写爬虫,抽风抽奖性质报错,superagent: double callback bug,怎么破?

用node写爬虫,一样的页面,爬取电影资源。使用superagent。在使用过程中国一直爬取,但是中途就像抽奖一样,偶尔几个页面就会出现superagent: double callback bug。老实说我一脸懵逼
这里有正常输出的页面结果,也有报错的输出

{ Error: Aborted
at Request.<anonymous> (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:254:19)
at Request.emit (events.js:198:13)
at RequestBase.abort (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:459:8)
at RequestBase._timeoutError (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:726:8)
at Timeout.<anonymous> (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:735:12)
at ontimeout (timers.js:436:11)
at tryOnTimeout (timers.js:300:5)
at listOnTimeout (timers.js:263:5)
at Timer.processTimers (timers.js:223:10)
  code: 'ABORTED',
  status: undefined,
  method: 'GET',
  url: 'http://xxx.com/?m=vod-detail-id-xxx.html' }
第30页, 第26条, 总50 标题:OSS117之里约谍影
第30页, 第27条, 总50 标题:OSS117之开罗谍影
superagent: double callback bug
第30页, 第28条, 总50 标题:我的媳妇是女王
阅读 168
评论 2019-12-14 提问
    1 个回答
    油糕
    • 115

    没办法,换了request库,完美。全部入库。没有出现这种双回调错误。

    评论 赞赏 2019-12-15
      撰写回答

      登录后参与交流、获取后续更新提醒