Java 获取用 URL 获取 HTML 页面源码出错

Question

我想获取指定URL的页面源码，代码如下：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

public class Test {
    public static void main(String[] args) {
        URL url;
        InputStream is = null;
        BufferedReader br;
        String line = null;
        String urlStr = "https://weibo.com/tv/v/G0Eg72F68";
        try {
            url = new URL(urlStr);
            is = url.openStream();  // throws an IOException
            br = new BufferedReader(new InputStreamReader(is));

            while ((line = br.readLine()) != null) {
                    //if (line.contains("video-sources")) {
                        System.out.println(line);
                    //    break;
                    //}
                
            }
            System.out.println("this is the end");
        } catch (MalformedURLException mue) {
             mue.printStackTrace();
        } catch (IOException ioe) {
             ioe.printStackTrace();
        } finally {
            try {
                if (is != null) is.close();
            } catch (IOException ioe) {
                // nothing to see here
            }
        }
    }
    
}

但是返回的字符串跟页面实际的源码不一样，差距很大，请问这是怎么回事？有什么解决办法？
非常感谢！
P.S. 不是乱码的问题，是返回的源码内容跟本来页面的内容差距很大。原页面的源码中有很多dom元素，而返回的源码基本就只有一些js代码。感觉返回的并不是我想要的页面的源码。

Answer 1

InputStreamReader 默认会使用当前环境的编码进行数据读取，你提供的网页是GB2312编码，你应该在UTF8编码下执行所以会出现乱码：
可以试试：

br = new BufferedReader(new InputStreamReader(is, "GB2312"));

指定InputStreamReader使用的编码；

1. 建议你可以多看看Java中的编码相关的东西；
2. 如果你是要做数据爬虫，其实也有很多很优秀的第三方框架可以尝试，jsoup/httpclient等。