这种jsp网站怎么爬虫？

Question

想爬取“中债资信”的数据，分析到数据源是“http://cdi.chinaratings.com.c...”，但是接下来就不知道怎么分析了，看了源代码，怎么都找不到哪一块是生成数据的代码，用chrome也没能分析出来……

Answer 1

是通过这个URL加载的数据

http://cdi.chinaratings.com.c...

参数如下：

curl 'http://cdi.chinaratings.com.cn/smartbi/vision/RMIServlet' -H 'Cookie: JSESSIONID=DA711088E94304CAEE335B698E712F40; _ga=GA1.4.1714100648.1515147029; _gid=GA1.4.190072792.1515147029' -H 'Origin: http://cdi.chinaratings.com.cn' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: zh-CN,zh;q=0.9' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/63.0.3239.84 Chrome/63.0.3239.84 Safari/537.36' -H 'Content-Type: application/x-www-form-urlencoded;charset=UTF-8' -H 'Accept: */*' -H 'Cache-Control: max-age=0' -H 'Referer: http://cdi.chinaratings.com.cn/smartbi/vision/openresource.jsp?resid=I8a8ae443015cbf9bbf9bb041015e0290e6a55f5c' -H 'Connection: keep-alive' -H 'If-Modified-Since: 0' --data $'encode=tSRp6kjp5w4kWp4gRip+-pkjp5w4kT(k(!RkIxQkQ4pc6L(-p+/JV/uuc\'(\'(pKKN71M79\'M19\'M1(K7i71M7iJiuu~~_7M9~/uu/ut1/ut/uuc\'(\'(pKKN71Ji~_m~~_m~~7K171Jp7um7pM(JJ_Ji/uu/utk4Qp/JT' --compressed

无论是输出参数还是返回值，都做了混淆处理。

Answer 2

这个最简单了， webdriver 5分钟就能搞定~