最近想做大数据分析; 所以想爬取了喜马拉雅的所有用户信息;
那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;
我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。
最近想做大数据分析; 所以想爬取了喜马拉雅的所有用户信息;
那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;
我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。
喜马拉雅是双封,先在你的 cookies 写入封禁的字段,然后封禁 IP ;
如果你换了 IP,不清理 cookies,一样死;所以解封的办法是,先清理 cookie,然后换 IP。然后访问就 OK 了。
2 回答5.1k 阅读✓ 已解决
2 回答1.1k 阅读✓ 已解决
4 回答979 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
3 回答1.2k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
用手机流量爬