Linux快速复制或删除大量小文件

luochenxi
前言

公司需要输送给网安部一批数据集,共计1550w张图片,大约3,5T。 处理过程中同时参考网上的一些方法的实践总结。

1:快速大量小文件复制

a. 本机不同磁盘之间复制:

  • 复制目录
    $  tar cvf – /home/src_dir | tar xvf – -C /opt
  • 复制文件
    $ tar cf – access.log |tar xf – -C /opt

Tips:快速tar打包的一些小技巧以及常用的tar使用

  • tar 快速打包(仅打包不压缩传输,耗时比较短)

    1. step1:从文件中生成文件列表

      $ find . -name '*.jpg' -print > jpg.txt
      **** 匹配多个后缀格式
      $ find . -regex '.*\.png\|.*\.jpeg\|.*\.jpg' -print >jpg.txt
    2. 若生成的文件列表比较大,可以借助split拆分成小文件进行并行打包. 若文件数较小,可忽略此步骤。

      #将 文件 jpg.txt 分成若干个小文件,每个文件500000行(-l 500000),文件前缀为xiu_ ,系数不是字母而是 数字(-d),后缀系数为四位数(-a 4)
      $ split -l 500000 ../ jpg.txt -d -a 4 xiu_
    3. step2: tar怎么从文件中读取文件列表呢?查了很久,用 -T

      -T, --files-from F
        get names to extract or create from file F

      tips: 注意这里不要加 -v参数啦,对于大量文件,控制台输出是很浪费时间的...

      $ tar -czf jpg.tar.gz -T yourfile  
      **** 不压缩的话,可以直接打包, 比较快。
      $ tar -cf jpg.tar.gz -T yourfile  
  • tar 常用的一些命令

    • 解包

       $ tar xvf FileName.tar 
       ## 或者 不输出文件,比较快
       $ tar xf FileName.tar 
    • 不解包查看打包内容

      $ tar  tvf FileName.tar 
    • 不解包统计打包内容文件数以及文件夹

      ### 统计文件数
      $ tar  tvf FileName.tar |grep "^-"|wc -l
      ### 统计文件加
      $ tar  tvf FileName.tar |grep "^d"|wc -l

b. 跨网络不同主机之间复制 tar+nc:

思路:在网络环境中传输时,打包再结合nc命令,通过管道和tcp端口进行传输。
比如 A往B主机传输数据

i. 在机器B上,用nc来监听一个端口,任意都行,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。

 $ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -

ii. 接着,在A上通过nc和 tar发送data_01目录。使用一致的34183的端口。

 $ tar -zcvf - data_01 |nc 192.168.0.1 34183

2:快速删除大量小文件 或者 大文件

2.1: 快速删除大量小文件

rsync提供了一些跟删除相关的参数 
rsync --help | grep delete 
     --del                   an alias for --delete-during 
     --delete                delete files that don't exist on the sending side 
     --delete-before         receiver deletes before transfer (default) 
     --delete-during         receiver deletes during transfer, not before 
     --delete-after          receiver deletes after transfer, not before 
     --delete-excluded       also delete excluded files on the receiving side 
     --ignore-errors         delete even if there are I/O errors 
     --max-delete=NUM        don't delete more than NUM files 
其中--delete-before    接收者在传输之前进行删除操作 

可以用来清空目录或文件,如下:

    1. 建立一个空目录
        mkdir -p /del_blank
    2. 确立需要清空的目标目录
        /del_data
    3. 使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。
        rsync --delete-before -a -H -v --progress --stats /del_blank/  /del_data/
    选项说明:
    –delete-before 接收者在传输之前进行删除操作
    –progress 在传输时显示传输过程
    -a 归档模式,表示以递归方式传输文件,并保持所有文件属性
    -H 保持硬连接的文件
    -v 详细输出模式
    -stats 给出某些文件的传输状态 
 
    一般我们不需要显示进度,使用以下命令即可
        rsync --delete-before -a -H /del_blank/ /del_data/
  这样我们要删除的 del_data目录就会被清空了

2.2: 快速删除大文件

如何删除特别大的文件(数量级),比如nohup.out这样的实时更新的文件,动辄都是几十个G上百G的,也可
以用rsync来清空大文件,而且效率比较高 。

1、创建空文件 
touch /data/blank.txt 
2、用rsync清空文件 
rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out 
building file list ... 
1 file to consider 
blank.txt 
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/1) 
Number of files: 1 
Number of files transferred: 1 
Total file size: 0 bytes 
Total transferred file size: 0 bytes 
Literal data: 0 bytes 
Matched data: 0 bytes 
File list size: 27 
File list generation time: 0.006 seconds 
File list transfer time: 0.000 seconds 
Total bytes sent: 73 
Total bytes received: 31 
sent 73 bytes  received 31 bytes  208.00 bytes/sec 
total size is 0  speedup is 0.00 

** tips:

 当SRC和DEST文件性质不一致时将会报错 
 当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件 
 当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录 
 最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事 
 最核心的内容是:rsync实际上用的就是替换原理

参考链接:

阅读 9.3k

luochenxi
深度学习算法服务,docker,工程服务
29 声望
1 粉丝
0 条评论
你知道吗?

29 声望
1 粉丝
宣传栏