如何选择分布式文件系统?

作为一个新手,面对许多选择,常常并不是一件好事儿~

针对1MB--100+MB大小的文件(多数为用户上传的图片,压缩包,文档等),采用哪一种分布式文件系统会比较好?

这些文件需要提供新增修改删除等常规操作,文件的并发操作目前并没有过多要求

有没有推荐的相关技术呢?
谢谢大家~

阅读 18.9k
5 个回答

如果是创业公司, 建议使用云服务, 又拍云 或者 七牛 比较不错, 尽量把时间和精力花在业务上.

但如果觉得一定要花些时间去做自己的分布式文件系统, 而且是偏向于存储小型文件的话, 下面是我了解到的:

  • Swift openstack 子产品. 此产品以 amazon s3 为假想竞争对手做的
  • GridFS mongo 社区的
  • Gluster 背后是 redhat 公司
  • TFS 淘宝自己开源的
  • Mogilefs memcached 那公司弄的(?)

玩分布式,特别是分布式存储的东西,运维成本要非常高. 所以如果没有能力 hold 住, 还是建议走云服务.

其实小型的分布式文件系统可以考虑FastDFS

用阿里云的OSS

如果要postfix支持,可考虑glusterfs/hdfs。前者部署简单,后者较为复杂。
fastdfs/mogilefs,需要程序调用api接口。
还有moosefs,但这针对几K或几十K的小文件比较好。

如果是新人学习练手,建议从fastdfs开始,我觉得比较容易。
如果是公司运营,直接用oss或七牛吧,省事简单。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏