Java如何抓取ajax生成的页面

Question

如题，最近在做一个从网上抓内容的工具，发现需要的内容刚好是ajax动态加载的，不知道有什么办法可以搞定这个问题？

有什么推荐使用的Java库么？我找了找，发现有人说htmlunit好像可以，还在琢磨。

谢谢了！

Answer 1

这个我当时遇到的一个情况是，ajax传回来的是一大堆json，然后前端js动态解析这些出来，我的目的是获取解析之后的数据，这样比较直观。
我用的selenium webdriver，自动化测试的一个东西。

Answer 2

可以直接用浏览器查看ajax请求的URL，直接down这个就好了

Answer 3

如果说是要抓js生成的页面，貌似没有这方面的类库（本人去年在用程序模拟新浪微博登录的时候找过，没找到。。。）
不过有可以解析javascript语句的java类库

你可以先对页面进行分析，然后确定哪些数据是必须的，即使是ajax动态加载的，数据也是可以获取到的，只是展现形式不同罢了