pyspider 模拟翻页

Question

最近开始学，遇到很多网站的数据翻页都是js控制的，有没有这方面的例子，请大家给个。比如拉钩网怎么翻页

Answer 1

这里有一个点击 more 的例子 http://blog.binux.me/2015/01/pyspider-tutorial-level-3-render-with-phantomjs/

但是需要注意的是：

1. pyspider 解析的最小单位是一个页面，当你翻到第 n 页之后，n-1 页的内容就没有了。你需要为每一页单独分别创建任务，保证每个单页都能解析。

2. 你需要找到一种办法直接翻到第 n 页，而不是从第一页一直翻到第 n 页，那会超时的。