(puppteer)使用爬虫代码去爬取网站数据,需要登录账号,爬到某个数量就被封

我欲乘风归去0756
  • 5
新手上路,请多包涵

问题描述

一、这样的,有一个网站,需要注册账号,登陆后才能显示某些数据。

二、但是只要你爬虫爬取到某个数量的时候,比如1500条,网站就会把你注册的账号直接封掉,连带用过这个账号的ip也封了,其实是限制了,不给你看数据,还是可以登录的。

三、我试过设置延迟,但是无效的,测试了下,只要到了某个数量,大概接近1500条,就会封,或者是限制掉。应该是某个时间段超过多少条就封。而且是封账号。即使是延迟5秒爬一次,爬到这个数量,一样封账号。

ps:我用的是puppteer

想咨询的是,一般爬虫是怎么去解决这样问题的,是不是无解?

回复
阅读 101
1 个回答
✓ 已被采纳

别人根据账号,和限定数量,以及IP定位判定是否爬虫,这种情况难搞,知道你是爬虫,封你帐号,对应数据不给你,你没任何办法。除非你一封号,不断注册新账号,不断切换IP。代理IP价格可是不小的一笔费用

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏