使用ptyhon的selenium来抓取目标站时,发现网站使用了cloudflare,用平常的手段均无法跳过,都会被屏蔽掉。
使用ptyhon的selenium来抓取目标站时,发现网站使用了cloudflare,用平常的手段均无法跳过,都会被屏蔽掉。
要跳过Cloudflare检测,可以使用Selenium模拟浏览器行为的一些技巧。以下是一些可能有用的方法:
user_agent
来生成常见的浏览器User-Agent字符串。请注意,这些方法并不是100%可靠的,因为Cloudflare和其他网站可能会不断更新他们的检测机制。此外,频繁地绕过网站的安全措施可能会对目标网站造成不必要的负担和风险。因此,在使用这些方法时请谨慎行事,并确保你的行为符合相关法律法规和网站的使用条款。
首先你需要确保你的抓取行为不违反法律。
在此前提下,你可以先试试使用 chrome 浏览器正常访问那个网站,查看是否会出现 Cloudflare 的标志。如果出现了,说明是你的 IP 可能被风控了,换个 IP 更可行。
换 IP 的最简单的方式,可以考虑使用 Cloudflare WARP,这个 APP 会给你分配一个 Cloudflare 自身的节点的 IP,这样大概率就不会被风控了。
请遵守法律!
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
2 回答1.9k 阅读✓ 已解决
undetected-chromedriver也不能行吗