在Github上搭建的个人博客的页面无法被百度Spider爬取的问题

JerryZou
  • 4.6k

问题:最近,我注意到我网站的流量大多来自于谷歌。我自己通过百度也无法搜索到我的博客中的文章。

经过一些尝试,我发现是 Github 主动屏蔽了来自于 BaiduSpider 的请求。

下是百度Spider抓取结果及页面信息:

提交网址: http://jerryzou.com/
抓取网址: http://jerryzou.com/
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
抓取时间: 2015-06-02 20:50:04
网站IP: 103.245.222.133
下载时长: 0.394秒
抓取异常信息: 拒绝访问
返回HTTP头:

HTTP/1.1 403 Forbidden
Cache-Control: no-cache
Content-Type: text/html
Transfer-Encoding: chunked
Accept-Ranges: bytes
Date: Tue, 02 Jun 2015 12:50:05 GMT
Via: 1.1 varnish
Connection: close
X-Served-By: cache-lax1429-LAX
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1433249405.582624,VS0,VE66
Vary: Accept-Encoding

请问通过何种方式可以让百度可以爬取在Github上搭建的个人博客?

回复
阅读 3.8k
3 个回答

主动屏蔽基本无解,不要用gitpage,自己弄个VPS啥的(免费的AWS都行)。 配合又拍云,效果还是很不错的

国内IP解析到 Gitcafe page
国外 GitHub

我的可以了,我是国外gitHUb,国内解析到coding
外加手动推送哦~

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏