爬虫需要大量优质的动态IP

试了很多代理,可用率太低了,100个里面也就几个能用,浪费了大量时间资源;

现在又要加 一键跟新爬虫,实时返回结果,导致用户等待时间很长?

阅读 4.2k
3 个回答

UCloud提供代理,付费的。

你可以维护一个代理池啊,毕竟免费的能用的很少而且有效时间非常短
或者用收费代理,较稳定,很多收费代理网站搜一下就行了

目前能找到的免费代理是没什么用的了,基本上可用率不足10%
试过花5块试用了收费代理,体验还是很差,虽说可用率高了但是被筛出来的一样一大堆

个人用户的话 我觉得可行的解决方案是定时去免费代理上抓点免费的,基本上能找到几十个(?或者十几个)能用的
也听说亚马逊AWS可以用来做爬虫,因为它重启会自动分配IP

企业的话还是正正规规找点大型代理吧

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题