(puppteer)使用爬虫代码去爬取网站数据，需要登录账号，爬到某个数量就被封

Question

问题描述

一、这样的，有一个网站，需要注册账号，登陆后才能显示某些数据。

二、但是只要你爬虫爬取到某个数量的时候，比如1500条，网站就会把你注册的账号直接封掉，连带用过这个账号的ip也封了，其实是限制了，不给你看数据，还是可以登录的。

三、我试过设置延迟，但是无效的，测试了下，只要到了某个数量，大概接近1500条，就会封，或者是限制掉。应该是某个时间段超过多少条就封。而且是封账号。即使是延迟5秒爬一次，爬到这个数量，一样封账号。

ps:我用的是puppteer

想咨询的是，一般爬虫是怎么去解决这样问题的，是不是无解？

Answer 1

别人根据账号，和限定数量，以及IP定位判定是否爬虫，这种情况难搞，知道你是爬虫，封你帐号，对应数据不给你，你没任何办法。除非你一封号，不断注册新账号，不断切换IP。代理IP价格可是不小的一笔费用