content := bufio.NewReader(resp.Body) // 先复制一份再传递 不然peek会改变原始数据
// 疑问,这里content不就变成4096个字节,为什么后面从它ReadAll是没问题的
e := judgeEncoding(content)
utf8_reader := transform.NewReader(content, e.NewDecoder()) // gbk 转成utf-8 NewDecoder() 用什么编码作为解码
all, err := ioutil.ReadAll(utf8_reader)
使用bufio.NewReader创建的新buffer不是4096字节码,为什么后面 ReadAll content,得到的是全部的信息?
1.
nReader := bufio.NewReader(f)
_,err = nReader.Peek(64)
- _,err= bufio.NewReader(f).Peek(64)
1 2的写法有什么区别?
问题一
bufio.NewReader(r io.Reader)
并没有真正地开始读取数据,它只是创建了一个4096 byte
大小的缓冲区,即make([]byte, 4096)
,以及同底层读取句柄r io.Reader
进行关联。缓冲区的作用:打个比方,上层可能每次只需要读取
1 byte
,底层是从文件中读取,每次读取1 byte
都需要 1 次系统调用,很不划算;通过一次性读取较多数据至缓冲区,上层再每次从缓冲区读取1 byte
,可以显著减少系统调用。忽略问题举例代码中的编码部分,读取数据的顺序是以下这样的。
ioutil.ReadAll(r io.Reader) ([]byte, error)
<=
r := bufio.NewReader(rd io.Reader) *Reader
<=
rd io.Reader
问题二
如果楼主的这段代码的只是想要调用
.Peek(64)
并获取结果,那么两种方法没有区别;如果想继续从
nReader
中读取数据,显然写法2
不可取,它都没有保存nReader
读取句柄,根本无从谈起继续读取。