node爬虫,request设置代理,总是报错求助

我用request爬取图片,为了防止ip被封,用了代理,可是用了代理后,总是报错。nodejs用到了request和async模块

function download(item,cb){
  request({
    url:item.img,
    proxy:proxys[Math.random()*proxys.length|0],
    method:'GET',
    timeout:5000
  },function(err,response,body){
    if(response && response.statusCode == 200){
      cb(null,item);
    }
  }).on('error',function(){
    console.log('下载出现异常,可能是pipe有问题,再次请求...');
    download(item,cb);
    // cb(null,item);
  }).pipe(fs.createWriteStream(fileDir2+item.name+'.'+item.url_token+'.jpg'));
}

download(item,cb) ,cb是async中控制流程的回调函数:

async.eachLimit(items,10,function(item,cb){
    download(item,cb);
},function(){...})

每次下载没几个,就报错停止运行了:

throw new assert.AssertionError({
  ^
AssertionError: 258 == 0
at ClientRequest.onConnect (C:\Users\fox\WebstormProjects\nodejs\实战\爬虫\node_modules\tunnel-agent\index.js:160:14)

如果我去掉代理的请求头,一点事都没有;如果我把上面download里面,改成 不再继续请求,直接cb(),请求失败不会报错。

.on('error',function(){
console.log('下载出现异常,可能是pipe有问题,再次请求...');
  // download(item,cb);
cb(null,item);
})

请大佬看了,能不能帮我解决一下,想了很久,一直排错,不知道什么原因。

阅读 5.8k
3 个回答

我之前也做过几乎和你一样的功能,直接下载图片很多下载了一部分,然后报错了,最后我试着包裹一层setTimeout,类似于:

setTimeout(function(){
    download(item, cb);
},400);

这样居然就好了,我为此写了一篇博文的:nodejs批量下载图片,你可以参考一下

遇到这种问题,程序要有重试机制。
一个好的重试机制是:在下一次尝试的时候,适当的增加sleep时间确保正确的执行。

新手上路,请多包涵

最近写爬虫遇到一样的问题了,找了半天在这里(github需要挂代理访问)找到了解决方案。本质上是一个bug,解决方案就是用修复了bug的版本更新一下这个库。

npm install --save git+https://git@github.com/bda-research/tunnel-agent.git
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题