现在的页面大部分都是通过Js渲染来显示页面的,也就是如果不滚动到页面底部就无法获取整个页面的HTML源码,如果通过CURL等抓取网页那么基本上抓取到都是一堆javascript代码。
所以就有了webkit爬虫,把整个页面渲染完了再抓取。这个到达页面底部的操作通常是在webkit中执行Js来完成的,注意如果通过js直接跳到底部页面只会渲染底部的HTML,中间的部分是不会渲染的。 所以下面这段代码就是通过js逐步滚动到页面底端,并且能判断出页面已达到底端来把setIntervel绑定的定时器清掉,以免造成死循环。
var delay = 10;//in milliseconds
var scroll_amount = 10;// in pixels
var interval;
function scroller() {
var old = document.body.scrollTop;//保存当前滚动条到顶端的距离
document.body.scrollTop += scroll_amount;//让滚动条继续往下滚动
if (document.body.scrollTop == old) {//到底部后就无法再增加scrollTop的值
clearInterval(interval);
}
}
function scrollToBottom()
{
interval = setInterval("scroller()",delay);
}
scrollToBottom()
用Python
的ghost.py
库来做webkit爬虫时就可以用它的evaluate
方法执行这段代码来渲染出整个页面。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。