参考:
有一个1G大小的一个文件,内存限制大小是10M,有序返回频数最高的50个词,该怎么做?
网上有很多该问题的解决方案,都是用分而治之的思想,提到了遍历整个文件。
那么我的问题是:
如果单纯地逐行读取大文件,算是把1G文件全都加载进内存吗?
或者说是读取大于内存的文件应该怎么读?
参考:
有一个1G大小的一个文件,内存限制大小是10M,有序返回频数最高的50个词,该怎么做?
网上有很多该问题的解决方案,都是用分而治之的思想,提到了遍历整个文件。
那么我的问题是:
如果单纯地逐行读取大文件,算是把1G文件全都加载进内存吗?
或者说是读取大于内存的文件应该怎么读?
try (BufferedReader in = new BufferedReader(new FileReader(file))) {
String line;
while ((line = in.readLine()) != null) {
// parse line
}
}
file再大,只要每一行的长度有限,整个文件读完会需要不少的时间,但不会占用太大的内存。
内存就好比草稿纸,写满一篇就翻篇。 用过、没用的数据就扔掉了。
简单举例,创建一个变量 buff,设定好它的大小,打开文件流往里填,填满以后查你要的内容,查到就统计到另外一个变量里计数。 然后清空buff,继续之前读取的位置再次装载内容…… 直到读取完毕,统计也就完成了。
4 回答1.5k 阅读✓ 已解决
4 回答1.3k 阅读✓ 已解决
1 回答2.6k 阅读✓ 已解决
3 回答1.9k 阅读
2 回答773 阅读✓ 已解决
2 回答1.7k 阅读
2 回答1.3k 阅读
在这里内存就像一条管道,逐行读是把1G文件在内存里过一遍而已,10M表示管道的粗细。
所以,逐行读是把1G文件
加载进去过
内存。