如何用爬虫爬去整个网站

如题,如果我要爬取一个仅仅只是提供文档说明的网站,但它经常不稳定,所以我想把它整站下载下来方便以后查看。(注:希望提供下思路和方法,就是想顺便学习下)

阅读 2.4k
评论
    2 个回答
    • 4.9k
    wget -r -p -np -k http://example.com/index.html

    -r 递归
    -p 下载页面相关的其它内容
    -np 不追溯至父级
    -k 页面内链接转换为相对链接

      • 216

      直接用 浏览器离线模式吧,没有必要写爬虫

        撰写回答

        登录后参与交流、获取后续更新提醒

        相似问题
        推荐文章