1、不想让正规的网络蜘蛛爬的话可以写个 robots.txt,可以参考百度 https://www.baidu.com/robots.txt 2、其他就是PHP验证呗 if(author()){ //验证 COOKIE/SESSION (不验证登陆的话,爬虫还是可以记录上一页的 COOKIE) //验证 USERAGENT (可以造假) //验证 REFERER (可以造假,而且些人会关掉 REFERER) //甚至验证 GET 的参数(参数可以与时间有关按一定规则生成的随机数,但是这样缓存就失效了) header("Content-type: image/jpg"); readfile("test.jpg"); }
1、不想让正规的网络蜘蛛爬的话可以写个
robots.txt
,可以参考百度 https://www.baidu.com/robots.txt2、其他就是PHP验证呗