如何用爬虫爬去整个网站

Question

如题，如果我要爬取一个仅仅只是提供文档说明的网站，但它经常不稳定，所以我想把它整站下载下来方便以后查看。（注：希望提供下思路和方法，就是想顺便学习下）

Answer 1

wget -r -p -np -k http://example.com/index.html

-r 递归
-p 下载页面相关的其它内容
-np 不追溯至父级
-k 页面内链接转换为相对链接

Answer 2

直接用 浏览器离线模式吧，没有必要写爬虫