snoopy爬虫 报错405 Not Allowed

Question

代码

$httpClass = new Snoopy();
$httpClass->fetch('https://v.qq.com/');
$url = $httpClass->results;
print_r($url);die();

爬取https://www.baidu.com/就一直报405错误

爬取https://v.qq.com/ 是正常运行的

求解答，弄了一下午都没解决

Answer 1

百度估计是做了仿爬虫的设置了，你要进行伪装，定义一个UA之类的
参考： http://www.4wei.cn/archives/396

Answer 2

这个不是Snoopy类的问题。是你不太了解爬虫的相关知识。既然有爬虫，当然就会有反爬虫的技术。最简单的就是基于浏览器标识或者是请求头header中的referer等等。百度和腾讯这种大站是不会想我们爬取数据的，一定做了很多防范措施。所以建议在爬取数据之前先了解下爬虫的知识。