Java NIO下使用ByteBuffer读取文本时解决UTF-8概率性中文乱码的问题

3

场景:
读取一个大文本文件,并输出到控制台。

在这里我们选择使用nio进行读取文本文件,在输出的过程中,有些文件中英文都显示正常,有些则偶尔出现中文乱码,经思考发现,在 ByteBuffer.allocate 时分配空间,如果中英混合的文件中就会出现中文字符只读取了一部分的问题,如果文本为等长编码字符集的时候,可以根据编码集 byte 长度进行 allocate ,例如 GBK 为2 byte ,所以我们 allocate 时未2的倍数即可,但像 UTF-8 这类变长的编码字符集时则没那么简单了。

下面就是 UTF-8 的编码方式

0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
  • 对于 UTF-8 编码中的任意字节 B ,如果 B 的第一位为0,则 B 为 ASCII 码,并且 B 独立的表示一个字符;
  • 如果 B 的第一位为1,第二位为0,则B为一个非 ASCII 字符(该字符由多个字节表示)中的一个字节,并且不是字符的第一个字节编码;
  • 如果 B 的前两位为1,第三位为0,则B为一个非 ASCII 字符(该字符由多个字节表示)中的第一个字节,并且该字符由两个字节表示;
  • 如果 B 的前三位为1,第四位为0,则B为一个非 ASCII 字符(该字符由多个字节表示)中的第一个字节,并且该字符由三个字节表示;
  • 如果 B 的前四位为1,第五位为0,则B为一个非 ASCII 字符(该字符由多个字节表示)中的第一个字节,并且该字符由四个字节表示;

通过分析我们发现,在读取中我们通过处理临界值来解决 UTF-8 编码字符读取问题。

示例代码如下:
RandomAccessFile rf = new RandomAccessFile("zh.txt", "rw");
FileChannel channel = rf.getChannel();

ByteBuffer buffer = ByteBuffer.allocate(4); // 至少为4,因为UTF-8最大为4字节

while (channel.read(buffer) != -1) {

    byte b;
    int idx;
    out :
    for (idx = buffer.position()-1; idx >= 0; idx--) {
        b = buffer.get(idx);

        if ((b & 0xff) >> 7 == 0) {  // 0xxxxxxx
            break;
        }
        if ((b& 0xff & 0xc0) == 0xc0) {   // 11xxxxxx,110xxxxx、1110xxxx、11110xxx
            idx -= 1;
            break;
        }
        if ((b & 0xff & 0x80) == 0x80) {
            for (int i = 1; i < 4; i++) {
                b = buffer.get(idx - i);
                if ((b & 0xff & 0xc0) == 0xc0) {
                    if ((b & 0xff) >> (5 + 1 - i) == 0xf >> (3 - i)) {
                        break out;
                    } else {
                        idx = idx - 1 - i;
                        break out;
                    }
                }
            }
        }
    }


    buffer.flip();
    int limit = buffer.limit();
    buffer.limit(idx+1);  // 阻止读取跨界数据
    System.out.println(Charset.forName("UTF-8").decode(buffer).toString());

    buffer.limit(limit);  // 恢复limit
    buffer.compact();
}

channel.close();
rf.close();

你可能感兴趣的

wangzshy · 2018年12月21日

if ((b & 0xff) >> (5 + 1 - i) == 0xf >> (3 - i))
这一段不太理解,尝试很多次,也永远进不去。
另外对于最后一个字节是10XXXXXX且是某个中文字的结尾字节的情况,需要特殊处理下,因为这种情况的中文字是可以正常读取的,没必要转移到下一次再处理。

回复

0

那行是处理编码 110xxxxx 10xxxxxx,如果读取的字符中没有改种编码则不会进去,可以找一个 UTF-8 编码占 2 位的字符进行测试。对于最后是编码已经完整表示非 ASCII 编码,也就是你提到的 10xxxxxx 结尾并已经完整的编码,当时偷懒把 2 位以上的编码统一交到下次 each 中处理,这里确实可以进行改进。

shach 作者 · 2018年12月21日
载入中...