爬取whoscored数据遇到了难题,Incapsula真厉害

至今还是没有绕过去,从浏览器或者从接口调试软件直接打开域名,都可以正常返回。查看header,只有两个cookie起到作用,于是不论我直接把cookie复制过去,或者用某个方法直接拿到他生成的cookie传过去,始终返回如下的提示【Curl的方法】:

<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><script type="text/javascript" src="/_Incapsula_Resource?SWJIYLWA=719d34d31c8e3a6e6fffd425f7e032f3"></script></head><body style="margin:0px;height:100%"><iframe id="main-iframe" src="/_Incapsula_Resource?SWUDNSAI=30&xinfo=5-78835769-0%200NNN%20RT%281597821425657%202296%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%2811%2c8628%2c0%29%20U18&incident_id=406000120098447887-418062255374336773&edet=12&cinfo=0b000000&rpinfo=0&cts=QPnjm1TA9QWipQyyfxfA6nqAwojQX4HZFfpTdyowX0eM8lLX0lSSDC80MqockX1S" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 406000120098447887-418062255374336773</iframe></body></html>

看了网站上其它大神的解决办法,发现都已经过时了。

不知道大家有没有新的思路可以绕过去这个验证。
https://www.whoscored.com/Previews

阅读 3.7k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏