比如,我去抓http://A.com,logging会出现:
Redirecting <302> to <GET http://B.com> from <http://A.com>
Redirecting <302> to <GET http://C.com> from <http://B.com>
Redirecting <302> to <GET http://A.com> from <http://C.com>
Crawled <200> <GET http://A.com>
.......................
..........抓取的内容....
我的问题是:这种重定向有何意义?
你爬取不就有点难了:)
服务器应对非正常请求的一种手段吧,在我的爬取数据的过程中也遇到过类似的问题,
还有以301、302混着来,最后给你个200,200内容还告诉你访问错误或你访问的页面不存在