爬虫爬目标网站出现512错误怎么解决?

发布于
2016-05-13

1.问题

昨天爬好好的,然后开了五个线程果断被封IP, 今天继续爬,没有封IP,但是爬不了,直接报错512错误

2.错误信息

[WARN][2016-05-13 11:40:20,977][us.codecraft.webmagic.downloader.HttpClientDownloader]code error 521    https://xxxxxx.com/

报错的代码段

            if (statusAccept(acceptStatCode, statusCode)) {
                Page page = handleResponse(request, charset, httpResponse, task);
                onSuccess(request);
                return page;
            } else {
                logger.warn("code error " + statusCode + "\t" + request.getUrl());
                return null;
            }