模拟请求 取得返回数据

Question

http://www.newrank.cn/public/...

如何模拟搜索请求得到返回的json数据

没有返回数据 请问 怎么解决这种情况

Answer 1

有很多种情况会导致这样的结果, 比较常见的就是, 请求头的内容没有包含服务器需要信息, 或者是cookies里面的内容, 没有包含服务器需要的信息, 所以被服务器判断为爬虫, 所以无法取得正常的结果. 你可以试下将浏览器的请求头和cookies分别拷贝到你的程序中再去请求, 如果还是不行, 只能用类似fiddler这样的工具再做细致的分析了

Answer 2

有些请求是需要Referer才能请求到数据的，或者是有些是需要验证cookis 这些你需要查看下之前成功的案例是否有这些条件的限制导致的！