最近想做大数据分析; 所以想爬取了喜马拉雅的所有用户信息;
那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;
我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。
最近想做大数据分析; 所以想爬取了喜马拉雅的所有用户信息;
那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;
我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。
2 回答5.1k 阅读✓ 已解决
2 回答1.1k 阅读✓ 已解决
4 回答1.4k 阅读✓ 已解决
3 回答1.3k 阅读✓ 已解决
3 回答1.2k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
用手机流量爬