有很多整站下载工具可以下载下整个站点，怎么设置让别人不能下载？

Question

有很多整站下载工具可以下载下整个站点，怎么设置让别人不能下载？他们下载的好像都是静态资源。这个和爬虫有关系吗？

Answer 1

没有办法防止，除非你的网站不是公开访问。
只要浏览器能打开，也就能抓取，或者被搜索引擎爬虫抓取，或者被采集器采集。
虽然不能完全防止，但是可以限制，比如UserAgent白名单、限制同一IP的访问频率等。
抓取网站下载到的当然是静态资源，如果能下载后端的动态资源就很危险了，但是不必担心，只要你的后端解析器(比如php-fpm，HHVM)起作用，抓站工具抓到的，只是被解析之后的结果。

Answer 2

既然他能访问，那就一定可以下载，要想防止这个问题，只能从防火墙发我啊等地方入手，比如说过滤频繁访问的IP段，robot文件不要泄露目录路径等等。