oss 可以把对象都放在同一层吗？会影响效率吗？

Question

使用文件系统的时候，如果在一个文件夹里面放了太多文件，那么读取这个文件夹中的文件会变慢（我记得是这样）

在 /images 下面存放所有用户上传的所有图片，比如 /images/3d278y322e9jd2.jpg、/images/sadhuiwehud.png 这样不好

应该改成 /images/3d27/3d278y322e9jd2.jpg、/images/sadh/sadhuiwehud.png 这样，避免在一个文件夹下面存放的文件太多了

在使用 oss、s3、minio 等对象存储的时候，需要注意这一点吗？还是只要一股脑的丢在一个「文件夹」下面就好了，对象存储会帮我处理存储细节来避免各种瓶颈？

Answer 1

建议分

为什么呢？minio 的早期版本，filepath 和实际在 fs 上的存储路径是一致的，所以依然会受到 fs 的瓶颈制约

至于 aliyun oss，也是建议分，具体可看官方文档：
OSS性能与扩展性最佳实践 和 aliyun oss 使用限制

Answer 2

被前同事坑过的来说一下（大概整了 几万个文件 约 9TB）：

前同事偷懒，不分目录，所有图片、音频、视频文件都在一个目录下
然后要清理的时候，导下来 + OSS 删除，就疯了。。。

1 阿里云提供的工具并不好用
2 接口不提供 通配符搜索，不支持直接分页页码访问
3 网页删除功能，只能一页一页干。BUT 如果是分目录的，可以按目录一次性删除

我最后是写了代码，遍历所有文件，相关信息存到本地数据库
然后在本地 通配符搜索，API 逐个下载（本地没有备份，只能下载），然后逐个删除。

最后重要的事情说三遍：
所有传到 OSS 的文件，一定要本地有备份
所有传到 OSS 的文件，一定要本地有备份
所有传到 OSS 的文件，一定要本地有备份

Answer 3

不影响效率，但你确定后期你们不需要对数据进行处理吗？
如果你们后期要处理数据的话你会发现不提前分层的数据多麻烦

建议最好还是根据业务分一下，而且把你们自己传的固定文件单独一个文件夹，别跟那些用户传的放一起，

实际工作中遇到的，测试上传文件直接用了oss获取上传地址，然后这类数据都留在了oss上，用户上传图片不保存，废弃图片也留着oss了，你可以理解oss里面多少垃圾数据了吧，

个人建议必须分，尤其是重点数据、单独保存

Answer 4

不需要，公司的文件目前全放在一个桶里，已经堆了十几tb了，请求速度还是挺快的。

Answer 5

当在文件系统中一个文件夹下放置太多文件时，可能会导致读取速度变慢的问题。这是因为文件系统在查找和检索文件时需要遍历整个文件夹，当文件数量过多时，查找和检索的时间会增加。

为了避免这个问题，将文件分散存储在多个子文件夹中是一个有效的解决方案，就像您提到的将文件存放在类似 "/images/3d27/3d278y322e9jd2.jpg" 的结构中。这种方式可以将文件分散到不同的子文件夹中，降低每个文件夹中文件的数量，从而提高读取性能。

对于使用对象存储服务（如OSS、S3、MinIO）的情况，一般来说，您不需要过于关注文件夹中文件数量的问题。对象存储服务通常会处理底层的存储细节，采用分布式架构和索引技术，以提供高性能和可伸缩性。它们能够有效地管理大量的文件，并提供快速的读取和写入能力。

尽管如此，为了更好地组织和管理文件，并提高读取性能，您仍然可以采取类似的分散存储策略。将文件按照某种规则或逻辑进行分组存储，可以提高文件系统的可维护性和读取性能。例如，可以按照文件名的一部分或其他属性将文件分散存储到不同的目录或存储桶中。

综上所述，虽然对象存储服务能够处理存储细节并提供高性能，但在管理大量文件时，合理的组织和存储结构仍然有助于提高读取性能和可维护性。