爬虫爬取网页遇到gizp压缩过的网站怎么解决？

Question

爬虫是用的Webmagic的爬虫，想要爬取的网站有gizp的压缩，要怎么去解决这个问题？

Answer 1

webmagic/webmagic-core/src/main/java/us/codecraft/webmagic/Site.java中有个变量useGzip，用于设置是否启用gzip，默认为true，你可以修改为默认false。