前言 公司需要输送给网安部一批数据集,共计1550w张图片，大约3,5T。 处理过程中同时参考网上的一些方法的实践总结。 1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 {代码...} 复制文件 {代码...} Tips:快速tar打包的一些小技巧以及常用的tar使用 tar 快速打包(仅打包不压缩传输,耗时比较短) step1:从文件中生...