在写爬虫的时候需要下载每个网页的附件,比如
http://www.jsqts.gov.cn/zjxx/...
这个网页,附件的链接是http://www.jsqts.gov.cn/zjxx/...;
如何从这个链接中获取真实的url?我用chrome打开链接可以直接下载附件,然后查看下载地址得到的是http://www.jsqts.gov.cn/zjxx/...;
也就是说怎么从http://www.jsqts.gov.cn/zjxx/...解析出http://www.jsqts.gov.cn/zjxx/...。。
求大神指教
你如果用java的HttpURLConnection的话,必须设置setFollowRedirects(false),默认是true,也就是java会自动跳转,这样无法得到中间步骤的应答头信息。
发起请求后,用getHeaderField("Location")即可获得跳转地址。