带分页的数据如何抓取？

Question

php在抓取数据的时候，如何抓取带有分页的数据呢？？
补充：抓取的是类似www.xxxblog.com这样链接下的文章列表，文章列表都是带分页的！

Answer 1

我用java抓取过带分页的数据，我是通过url来抓取的，分页是用for循环来改写url里的对应不同页的key值实现的

Answer 2

通过不停请求下一页的URL获得，也可以获取到总页数，然后分析拼接URL获得~

Answer 3

这个分一些情况。
1:异步处理的，可以通过请求，返回json数据，然后处理
2:非异步，分步处理。首先获取总的页码，然后手动拼接页码，循环请求每个页面，再对单个页面进行抓取。

Answer 4

先查看页面的源码情况，然后明确action和args。
一般的案例：
action: http://www.xxx.com/testAction.do
args: filtersParams={}&curIndex=1&pageSize=10

页面中还会有total(总数据)，totolPage(总页数)

可以通过这些信息在后台代码进行判断所存在分页就for调用这个action?args即可