superagent写爬虫,抽风抽奖性质报错,superagent: double callback bug,怎么破?

油糕
  • 154

用node写爬虫,一样的页面,爬取电影资源。使用superagent。在使用过程中国一直爬取,但是中途就像抽奖一样,偶尔几个页面就会出现superagent: double callback bug。老实说我一脸懵逼
这里有正常输出的页面结果,也有报错的输出

{ Error: Aborted
at Request.<anonymous> (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:254:19)
at Request.emit (events.js:198:13)
at RequestBase.abort (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:459:8)
at RequestBase._timeoutError (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:726:8)
at Timeout.<anonymous> (D:\myfile\no\node_modules\_superagent@5.1.2@superagent\lib\request-base.js:735:12)
at ontimeout (timers.js:436:11)
at tryOnTimeout (timers.js:300:5)
at listOnTimeout (timers.js:263:5)
at Timer.processTimers (timers.js:223:10)
  code: 'ABORTED',
  status: undefined,
  method: 'GET',
  url: 'http://xxx.com/?m=vod-detail-id-xxx.html' }
第30页, 第26条, 总50 标题:OSS117之里约谍影
第30页, 第27条, 总50 标题:OSS117之开罗谍影
superagent: double callback bug
第30页, 第28条, 总50 标题:我的媳妇是女王
回复
阅读 1.6k
1 个回答
✓ 已被采纳

没办法,换了request库,完美。全部入库。没有出现这种双回调错误。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏