如果有海量的小文件，会造成NameNode的性能瓶颈吗？比如导致Mata文件太大等？

Question

目前的项目，需要用hadoop集群存储海量的小文件，包括各种Office文件、图片、小的语音文件。
而且每天都会新添加上数万个文件（设置数十万）

我的问题是，对于这种海量的小文件存储的场景，会有哪些问题：
1）会不会因为小文件太多了，导致meta文件太大引起性能下降
2）还有什么其他需要考虑的问题吗？

Answer 1

海量小文件的存储确实会影响namenode的性能，而且增加namenode的内存负担。如果没记错的话，每个hdfs上的文件，会消耗128字节记录其meta信息。按照你的描述，每天新增的meta信息大概是6M左右（以5万增量计）。再后面就是hdfs自身的一些问题，比如checkpoint的效率降低啊等等