Linux 常用命令用法：cat, find, xargs, tr, grep, cut, sed

本文列明Linux的常用命令用法，学会了这些命令之后，结合shell编程知识，就可以做各种自动编译/集成的工作啦。
本文地址：https://segmentfault.com/a/1190000006078207

Reference

《Linux Shell 脚本攻略》
Linux中怎么找出空文件夹?

cat：显示、拼接

cat file1 file2 file3 ...

除了常有的用来显示文件内容之外，cat有两个妙用：

1. 使用 stdin 输入给 cat

xxxx | cat - output.txt

本例中使用“-”表示stdin，用xxxx命令的输出重定向给cat

2. 合并文件

cat file1 | file2 > output.txt

将两个文本合并

3. 删除多余的空白行

cat -s input.txt

4. 显示行号

cat -n input.txt

find：查找文件

基本用法：file -name 'xxx'。其中可以指定文件夹，比如find /dev/ -name ...。在BSD中，目标文件夹是必须指定的。在Linux中，则可以不指定，默认是当前文件夹。
如果要求忽略大小写，则使用选项-iname。name参数后面的字符串可以使用正则表达式。

匹配多个文件

可以使用-o选项来表示“OR”，并且用“\(”和“\)”作为条件整体括起来。如：

find \(-name 'aaa.txt' -o -name 'aaa.doc' \)

需要注意的是，\(之后和\)之前必须有空格

不是匹配文件名而是匹配完整路径

-name用于匹配文件名，但是可以使用-path用来匹配路径：

find ./ -path "*/doc/*"

如果要匹配正则表达式路径，则使用-regex或-iregex（忽略大小写）。此时已path而不是name方式搜寻。

指定“非”条件

可以指定“不”匹配条件，使用感叹号即可，如：

find ./ ! -name "*.txt"

限制目录深度

-maxdepth和-mindepth，比如搜寻当前文件夹，则使用-maxdepth 1

按照类型权限搜索

-perm mode/+mode/-mode。其中mode是一个八进制数，对应chmod命令里面的mode。加号表示“任意一个位”，减号表示“所有1位匹配”，无符号表示“完整匹配”

过滤文件类型

find可以匹配文件类型：-type x，其中x可以是以下值：

• f：file，文件
• l：link，符号链接
• d：directory，目录/文件夹
• c：char，字符设备
• b：block，块设备
• s：socket
• p：pipe

过滤文件时间

参数都是以下格式：-选项 天数，天数表示距离今天几天内。选项如下：

• -atime：access time
• -mtime：modification time
• -ctime：change time（注：这个和mtime有啥区别？）
  需要注意的是，UNIX中并没有“create time”的概念。

比如搜索7天内访问过的所有文件：find . -type f -atime -7
或者是访问超过7天的文件：find . -type f -atime +7
也可以是恰好7天：find . -type f -atime 7

上述参数是以天为单位的。下面几个参数以分钟为单位：
-amin, -mmin, -cmim

过滤文件大小

-size 参数
后面的参数可以用多种单位，比如c（char，字节）、k、M、G。比如查找大于2kB的文件：
find . -type f -size +2k

删除匹配的文件

在find命令后面加上-delete参数，find会将匹配到的文件都删除掉。这个功能很有用，但是要小心用。

对每一个文件执行操作

使用-exec对find的每一个目标进行操作，使用“{}”匹配每一个文件名。比如将所有带“configure”的文件加上执行权限：
find . -name "configure" -type f -exec chmod +x {}

说实话我觉得还不如使用xargs来得方便。

指定输出的分隔符

使用-print0，将\0作为文件名之间的分割符。参见xargs的使用。

查找所有空文件夹

find . -type d -empty

这是我在吧项目从svn迁移到git所遇到的问题——git不支持空文件夹啊……所以我得找到所有的空文件夹再做特殊处理。

xargs：将stdin转换为其他命令的参数并执行

有些命令可以支持stdin重定向作为输入，这是极好的。但是大部分不行。这个时候就需要使用xargs了。。
这个命令的作用就是将stdout的内容，作为其他命令的参数进行调用。基本格式是：

command | xargs ...

将stdout参数顺序输出给命令

最简单的应用是将stdout一个一个输出给命令，以换行符为单位，比如：
find -name ".svn" | xargs rm -rf
这样的结果是find输出的每一行都被执行了rm -rf ...操作。

第二种应用是指定参数个数，比如：
find -name "*.txt" | xargs -n 2 cat
使用-n参数，xargs可以每次传递指定数量的参数给command，如果参数不足，则传递剩余全部参数。

指定参数位置

使用-I参数指定一个字符串作为宏，并且在后面这个宏出现的位置中，替换成参数。在一些xargs实现中，-I参数是必需的。比如：
find -name ".svn" | xargs -I {} rm {} -rf

结合 find 命令

find命令的分隔符除了可能是'\n 之外，也可能是' '（空格）。为了防止错误，find应该使用-print0选项，而xargs使用-0(杠零) 选项。比如：
find -name ".svn" -print0 | xargs -0 rm -rf

tr：转换字符串，并重新输出（translate）

tr [options] set1 set2

这是一个简易的命令。tr将stdin的字符从set1的规则映射为set2规则，然后重新输出到stdout。比如将全部字母小写：...... | tr 'A-Z' 'a-z'
set1和set2分别是两个集合，比如'a-z', 'a-z0-9', '12345'等等都是合法集合。集合中也可以使用转义字符，比如\t, \n。
使用tr删除字符，用-d选项：...... | tr -d '0-9'
使用tr压缩连续字符（典型应用：删除连续空格）：-s选项，如：...... | tr -s ' '

grep：文本搜寻和匹配

单独使用，直接指定目标文件

grep可以单独使用，直接为其指定搜索的文件：grep "all:" Makefile
上面是在Makefile中搜索带字符“all:”的行。grep会打印出所有符合条件的行。
grep也可以指定多个文件，如：grep "all:" Makefile Makefile.in
grep可以指定搜索的目录。此时grep会递归艘运目录下的所有文件，如：grep "main(" ./ -r可以在当前目录下查找main函数。

使用管道

如果grep的非选项参数只有一个，那么grep会自动从stdin中获得输入。

只输出匹配文本

使用-o选项使得grep不是输出一整行，而只是指定的文本。

使用正则表达式

虽然加上-e选项可以让grep支持正则表达式，但实际上建议直接使用egrep

打印匹配的文件以及在文中的行号

使用选项-n，经常搭配-r来搜索文字。使用-Ax打印匹配目标之后的x行；使用-Bx打印匹配目标之前的 x行；使用-Cx打印前后x行。

多种匹配

使用-e来匹配多个样式，如：...... | grep -e "Linux" -e "BSD"

忽略模式的大小写

-i选项

静默模式

使用-q选项。这个模式下，grep不输出内容，只在结束的时候给出返回值。匹配成功时，返回0；失败时，返回非零值。

反匹配

使用-v做反匹配。我经常使用的一个组合命令就是：
查找我相对于svn上，修改了的文件列表：svn stat | egrep -v "^\?"

打印匹配的文件名

使用-l选项，只打印匹配的文件名。

cut：文本/文件按列划分

直接上例子吧：cut -f 2,3 table.txt，这个命令表示将文件中所有第二和第三列的内容打印出来。（列数从1开始而不是0）。
　　更多的情况下，我们是将它接在管道下的，有了cut命令，我们就可以很方便地去裁剪。如果没有文件参数，cut会自动从stdin中获取文本，正如grep一样。

指定界定符

如果没有指定界定符的话，cut使用默认的。一般我们要使用-d来指定，比如指定斜杠：
cut -f 2,3 -d "/" table.txt

取反

通常cut的模式是“选中”，如果加上--complement选项则变成“清除”

指定列范围

-f选项有几种写法，如下：

• -f 2：指定第二列
• -f 2,3,5：指定第二、三、五列
• -f 2-：指定第二及以后的列
• -f 2-5：指定第二至五列
• -f -5：指定第一至五列

对于没有界定符的行，cut会将哪一行原原本本的输出。如果想要忽略这样的行，则使用-s选项

sed：文本替换

sed是stream editor的缩写。比如最简单的指定文本替换：sed 's/aaa/bbb' input.txt，将文件input.txt中所有的“aaa”替换成“bbb”。表达式可以用单引号或者双引号定义。
　　sed在不指定文件名的情况下，接受stdin作为输入源。
　　默认情况下，sed只是将替换的文本输出，使用-i保存文件，或者是使用重定向来另存为新的文件。
　　默认情况下，sed只会替换每一行的第一处匹配。绝大多数情况下我们需要加上g字符来要求匹配全行所有文本。比如上述命令应该修改为：sed 's/aaa/bbb/g' input.txt。而如果是Ng则表示从第N个匹配开始替换。

定界符

sed使用几种定界符/, |, :，所以使用这些符号作为文本字符时，都需要转义。

删除

使用格式sed '/......d' file来删除匹配的格式。删除空白行的时候可以这么写：
sed '/^\s*$/d' file

替换后内容的指定

匹配内容如果是正则表达式，我们事先是不知道具体的字符串是什么的。但是如果要使用匹配到的内容来操作的话，我们需却又需要这个字符串。这个时候有两种方法：
　　方法一：使用&来引用匹配到的文本（因此&也是关键字）
　　方法二：使用正则表达式的“捕获分组”概念，匹配到的祖父穿的分组可以在替换字符串中引用，即“\1”、“\2”等方式。
　　注意，在sed中的用于分组的括号不能写作“()”，而是“\(\)”

替换级联

sed的替换操作可以级联起来，最直接的方法是使用管道：
sed '...' | sed '...'
第二种方法是在模式中用分号分隔（所以分号也是关键字）：
sed '...;...'
第三种是使用-e选项：
sed -e '...' -e '...'

将Windows文本转换为UNIX文本

sed 's/^M//' filename > newfile
其中的“^M”不是普通字符，需要用Ctrl + V + M打出来。

脚本：对stdout的每一项进行操作

如果我们使用脚本，怎么读取一个命令输出的信息呢？如下：

for FILE in `find -iname '*.txt' -type f`
do
    ......    # 使用FILE变量操作
while