一、cut 命令
cut命令用来显示行中的指定部分
1. 语法
cut [选项] 文件名
2. 选项
-f 列号
:第几列提取-d 分隔符
:按照指定分隔符分隔列,若不设置,默认为制表符(Tab键)
3. 应用
处理以制表符分隔的成绩单
- report.md
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
- 查看 report.md 中的第二列
[root/tmp]# cut -f 2 report.md
Name
Zhang
Li
Wang
- 查看 report.md 中的第二列和第四列
[root/tmp]# cut -f 2,4 report.md
Name Score
Zhang 99
Li 68
Wang 100
处理以 :
分隔的 /etc/passwd
文件
- /etc/passwd
[root/tmp]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
veewee:x:1000:1000::/home/veewee:/bin/bash
vagrant:x:1001:1001::/home/vagrant:/bin/bash
...省略n行...
memcached:x:996:995:Memcached daemon:/run/memcached:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
- 查看 /etc/passwd 中的第一列和第七列
[root/tmp]# cut -f 1,7 -d ":" /etc/passwd
root:/bin/bash
bin:/sbin/nologin
sync:/bin/sync
mail:/sbin/nologin
nobody:/sbin/nologin
sshd:/sbin/nologin
veewee:/bin/bash
vagrant:/bin/bash
...省略n行...
memcached:/sbin/nologin
apache:/sbin/nologin
- 查看所有使用 /bin/bash 登录的普通用户
[root/tmp]# grep '/bin/bash' /etc/passwd | cut -f 1 -d ":" /etc/passwd | grep -v root
veewee:/bin/bash
vagrant:/bin/bash
4. cut 命令的局限性
cut 命令只可以分析分隔符清晰,格式非常工整的文件,类似 df
这类的输出内容完全无能为力。
[root/tmp]# df -h | cut -f 5
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 8.4G 1.8G 6.7G 21% /
devtmpfs 490M 0 490M 0% /dev
tmpfs 497M 0 497M 0% /dev/shm
tmpfs 497M 6.7M 491M 2% /run
tmpfs 497M 0 497M 0% /sys/fs/cgroup
/dev/sda1 497M 133M 365M 27% /boot
vagrant 62G 58G 4.4G 93% /vagrant
tmpfs 100M 0 100M 0% /run/user/1001
[root/tmp]# df -h | cut -f 5 -d ' '
1.8G
二、printf 命令
printf命令格式化并输出结果到标准输出。
printf命令并不会自动加入换行符,如果需要换行,需要手工加入换行符。
1. 语法
printf '[输出类型][输出格式]' [内容]
2. 常用输出类型
%ns
:输出字符串。n是数字,指代输出几个字符。%nd
:输出整数。n是数字,指代输出几个数字。
3. 常用输出格式
\n
:换行\r
:回车\t
:水平制表符(Tab键)
4. 应用
printf 和 echo
[root/tmp]# echo 1 2 3 4 5 6
1 2 3 4 5 6
[root/tmp]# printf 1 2 3 4 5 6
1[root/tmp]#
printf 格式化输出
[root/tmp]# printf '%s' 1 2 3 4 5 6
123456[root/tmp]# printf '%s\n' 1 2 3 4 5 6
1
2
3
4
5
6
[root/tmp]# printf '%s%s\n' 1 2 3 4 5 6
12
34
56
[root/tmp]# printf '%s%s %s\n' 1 2 3 4 5 6
12 3
45 6
[root/tmp]# printf '%s%s %s%s\n' 1 2 3 4 5 6
12 34
56
格式化输出 report.md
- report.md
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
- printf 不支持使用管道符
[root/tmp]# cat report.md | printf
printf: 用法:printf [-v var] 格式 [参数]
- 格式化输出 report.md
[root/tmp]# printf '%s\n' $(cat report.md)
ID
Name
Gender
Score
1
Zhang
F
99
2
Li
M
68
3
Wang
M
100
[root/tmp]# printf '%s\t%s\t%s\t%s\n' $(cat report.md)
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
三、awk 命令
1. 语法
awk '条件1{动作1} 条件2{动作2} ...' 文件名
条件
一般使用关系表达式作为条件x>10
x<10
x>=10
x<=10
x==10
动作
格式化输出
流程控制语句
2. awk命令的输出
awk 命令的输出中支持 print 和 printf 命令
- printf:标准格式输出命令,并不会自动加入换行符,如果需要换行,需要手工加入换行符。
- print:会在 printf 输出的基础上加入换行符。(print 只能在 awk 命令中使用,Linux默认并没有 print 命令)。
格式化输出 report.md
- report.md
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
- 输出 report.md 的第二列和第四列
[root/tmp]# awk '{print $2 "\t" $4}' report.md
Name Score
Zhang 99
Li 68
Wang 100
[root/tmp]# cut -f 2,4 report.md
Name Score
Zhang 99
Li 68
Wang 100
格式化输出 df 命令的结果
df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 8.4G 1.8G 6.7G 21% /
devtmpfs 490M 0 490M 0% /dev
tmpfs 497M 0 497M 0% /dev/shm
tmpfs 497M 6.7M 491M 2% /run
tmpfs 497M 0 497M 0% /sys/fs/cgroup
/dev/sda1 497M 133M 365M 27% /boot
vagrant 62G 58G 4.4G 93% /vagrant
tmpfs 100M 0 100M 0% /run/user/1001
- 只输出df命令的第五列
[root/tmp]# df -h | awk '{print $5}'
已用%
21%
0%
0%
2%
0%
27%
93%
0%
- 只输出文件系统为 '/dev/mapper/centos-root' 的第五列
[root/tmp]# df -h | grep '/dev/mapper/centos-root' | awk '{print $5}'
21%
- 去掉后面的 '%',只保留数字
[root/tmp]# df -h | grep '/dev/mapper/centos-root' | awk '{print $5}' | cut -d '%' -f 1
21
3. BEGIN 和 END 语句块
BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块。
- BEGIN 和 END 语句块用法
[root/tmp]# df -h | awk 'BEGIN{print "I am begining"}END{print "I am end"}{print $5}'
I am begining
已用%
21%
0%
0%
2%
0%
27%
93%
0%
I am end
4. FS 分隔符
设置FS分隔符的方法
- awk
-F '[分隔符]'
'条件1{动作1} 条件2{动作2} ...' 文件名- awk 'BEGIN{FS="[分隔符]"} 条件1{动作1} 条件2{动作2} ...' 文件名
格式化输出以 :
分隔的 /etc/passwd
文件内容
- /etc/passwd
[root/tmp]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
veewee:x:1000:1000::/home/veewee:/bin/bash
vagrant:x:1001:1001::/home/vagrant:/bin/bash
...省略n行...
memcached:x:996:995:Memcached daemon:/run/memcached:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
- 格式化输出
/etc/passwd
中的第一列和第七列
[root/tmp]# cat /etc/passwd | awk -F ':' '{print $1 "\t\t" $7}'
root /bin/bash
bin /sbin/nologin
sync /bin/sync
mail /sbin/nologin
nobody /sbin/nologin
sshd /sbin/nologin
veewee /bin/bash
vagrant /bin/bash
...省略n行...
memcached /sbin/nologin
apache /sbin/nologin
[root/tmp]# cat /etc/passwd | awk 'BEGIN{FS=":"} {print $1 "\t\t" $7}'
root /bin/bash
bin /sbin/nologin
sync /bin/sync
mail /sbin/nologin
nobody /sbin/nologin
sshd /sbin/nologin
veewee /bin/bash
vagrant /bin/bash
...省略n行...
memcached /sbin/nologin
apache /sbin/nologin
5. 关系表达式
一般使用关系表达式作为条件x>10
x<10
x>=10
x<=10
x==10
解析 report.md
- report.md
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
- 输出大于80分的人的名字
[root/tmp]# cat report.md | grep -v ID | awk '$4 > 80 {print $2}'
Zhang
Wang
- 输出小于80分的人的名字
[root/tmp]# cat report.md | grep -v ID | awk '$4 < 80 {print $2}'
Li
- 输出大于等于99分的人的名字
[root/tmp]# cat report.md | grep -v ID | awk '$4 >= 99 {print $2}'
Zhang
Wang
- 输出小于等于99分的人的名字
[root/tmp]# cat report.md | grep -v ID | awk '$4 <= 99 {print $2}'
Zhang
Li
- 输出100分的人的名字
[root/tmp]# cat report.md | grep -v ID | awk '$4 == 100 {print $2}'
Wang
四、sed 命令
sed 名令是一种几乎包括在所有Unix平台(包括Linux)的轻量级流编辑器。
sed 命令主要用来对数据进行选取、替换、删除、新增。
1. 语法
sed [选项] '[动作]' [文件名]
2. 选项
-n
:一般sed命令会输出所有数据,如果加入此选项,则只会输出经过sed命令处理的行。-e
:允许对输入数据应用多条sed命令编辑。-i
:一般sed命令只会将编辑结果输出到屏幕,如果加入此选项,则会直接修改读取数据的文件。
3. 动作
p
:打印,输出指定的行。i
:插入,在当前行前插入一行或多行。a
:追加,在当前行后添加一行或多行。d
:删除,删除指定的行。c
:行替换,用c后面的字符串替换原数据行。s
:字符串替换,用一个字符串替换另外一个字符串。格式为[行范围]s/[旧字符串]/[新字符串]/g
(与vim编辑器的替换格式类似)。
4. 查看文件指定行的内容
- 查看 report.md 的第二行数据,如果不加
-n
的话默认是输出文件所有数据
[root/tmp]# sed '2p' report.md
ID Name Gender Score
1 Zhang F 99
1 Zhang F 99
2 Li M 68
3 Wang M 100
- 查看 report.md 的第二行数据
[root/tmp]# sed -n '2p' report.md
1 Zhang F 99
- 查看 report.md 的第一行到第三行数据
[root/tmp]# sed -n '1,3p' report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
5. 在指定行前插入内容
- 在第一行前插入 'Begin',但是不修改文件本身
[root/tmp]# sed '1i Begin' report.md
Begin
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
6. 在指定行后追加内容
- 在第一行后插入 'End',但是不修改文件本身
[root/tmp]# sed '1a End' report.md
ID Name Gender Score
End
1 Zhang F 99
2 Li M 68
3 Wang M 100
7. 删除文件指定行的内容
- 删除第二行到第四行的数据,但是不修改文件本身
[root/tmp]# sed '2,4d' report.md
ID Name Gender Score
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
8. 替换指定行的整行内容
- 将第一行替换为 'Hello World',但是不修改文件本身
[root/tmp]# sed '1c Hello World' report.md
Hello World
1 Zhang F 99
2 Li M 68
3 Wang M 100
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
- 当替换的行没有数据时,无法替换成功
[root/tmp]# sed '5c Hello World' report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
9. 替换指定行的指定字符串
命令格式
sed [-i] '[行范围]s/[旧字符串]/[新字符串]/g' 文件名
-i
:加-i
只会修改源文件;不加的话只会将编辑结果输出到屏幕,不会修改源文件。
结尾的g
为全局替换,若不加,则只会替换每一行第一个符合条件的字符串[旧字符串]
可以应用正则表达式
行范围格式
- 如果不写行范围,则默认替换整个文件的内容
-
n
表示只替换第 n 行的内容 -
m,n
表示替换 从第 m 行到第 n 行的内容 -
n,$
表示替换 从第 n 行一直到文件结尾的内容
应用
- passwd 文件是从 /etc/passwd 文件截取的部分内容
[root/tmp]# cat -n passwd
1 rootxroot/root/bin/bash
2 binxbin/bin/sbin/nologin
3 syncxsync/sbin/bin/sync
4 mailxmail/var/spool/mail/sbin/nologin
5 nobodyxNobody//sbin/nologin
6 sshdxSSH/var/empty/sshd/sbin/nologin
7 veeweex/home/veewee/bin/bash
8 vagrantx/home/vagrant/bin/bash
9 memcachedxMemcached/run/memcached/sbin/nologin
10 apachexApache/usr/share/httpd/sbin/nologin
- 把文章中所有的
数字:
替换为 '*',直接修改源文件
[root/tmp]# sed -i 's/[0-9]\{1,\}:/\*/g' passwd
[root/tmp]# cat -n passwd
1 root:x:**root:/root:/bin/bash
2 bin:x:**bin:/bin:/sbin/nologin
3 sync:x:**sync:/sbin:/bin/sync
4 mail:x:**mail:/var/spool/mail:/sbin/nologin
5 nobody:x:**Nobody:/:/sbin/nologin
6 sshd:x:**SSH:/var/empty/sshd:/sbin/nologin
7 veewee:x:**:/home/veewee:/bin/bash
8 vagrant:x:**:/home/vagrant:/bin/bash
9 memcached:x:**Memcached:/run/memcached:/sbin/nologin
10 apache:x:**Apache:/usr/share/httpd:/sbin/nologin
- 把第九行的 'memcached' 替换为 'mem'
[root/tmp]# sed -i '9s/emcached/em/g' passwd
[root/tmp]# cat -n passwd
1 root:x:**root:/root:/bin/bash
2 bin:x:**bin:/bin:/sbin/nologin
3 sync:x:**sync:/sbin:/bin/sync
4 mail:x:**mail:/var/spool/mail:/sbin/nologin
5 nobody:x:**Nobody:/:/sbin/nologin
6 sshd:x:**SSH:/var/empty/sshd:/sbin/nologin
7 veewee:x:**:/home/veewee:/bin/bash
8 vagrant:x:**:/home/vagrant:/bin/bash
9 mem:x:**Mem:/run/mem:/sbin/nologin
10 apache:x:**Apache:/usr/share/httpd:/sbin/nologin
- 把第五行的 'Nobody' 替换为 'no',把第十行的 'Apache' 替换为 'apa'
方法一:多条命令以分号分隔
[root/tmp]# sed '5s/Nobody/no/g;10s/Apache/apa/g' passwd
root:x:**root:/root:/bin/bash
bin:x:**bin:/bin:/sbin/nologin
sync:x:**sync:/sbin:/bin/sync
mail:x:**mail:/var/spool/mail:/sbin/nologin
nobody:x:**no:/:/sbin/nologin
sshd:x:**SSH:/var/empty/sshd:/sbin/nologin
veewee:x:**:/home/veewee:/bin/bash
vagrant:x:**:/home/vagrant:/bin/bash
mem:x:**Mem:/run/mem:/sbin/nologin
apache:x:**apa:/usr/share/httpd:/sbin/nologin
方法二:使用 -e
允许对输入数据应用多条sed命令编辑
[root/tmp]# sed -i -e '5s/Nobody/no/g' -e '10s/Apache/apa/g' passwd
[root/tmp]# cat -n passwd
1 root:x:**root:/root:/bin/bash
2 bin:x:**bin:/bin:/sbin/nologin
3 sync:x:**sync:/sbin:/bin/sync
4 mail:x:**mail:/var/spool/mail:/sbin/nologin
5 nobody:x:**no:/:/sbin/nologin
6 sshd:x:**SSH:/var/empty/sshd:/sbin/nologin
7 veewee:x:**:/home/veewee:/bin/bash
8 vagrant:x:**:/home/vagrant:/bin/bash
9 mem:x:**Mem:/run/mem:/sbin/nologin
10 apache:x:**apa:/usr/share/httpd:/sbin/nologin
- 把文件中所有的
:
替换为制表符(\t
)
[root/tmp]# sed -i 's/:/\t/g' passwd
[root/tmp]# cat -n passwd
1 root x **root /root /bin/bash
2 bin x **bin /bin /sbin/nologin
3 sync x **sync /sbin /bin/sync
4 mail x **mail /var/spool/mail /sbin/nologin
5 nobody x **no / /sbin/nologin
6 sshd x **SSH /var/empty/sshd /sbin/nologin
7 veewee x ** /home/veewee /bin/bash
8 vagrant x ** /home/vagrant /bin/bash
9 mem x **Mem /run/mem /sbin/nologin
10 apache x **apa /usr/share/httpd /sbin/nologin
- 把第五行一直到结尾的 'x' 替换为 'w'
[root/tmp]# sed -i '5,$s/x/w/g' passwd
[root/tmp]# cat -n passwd
1 root x **root /root /bin/bash
2 bin x **bin /bin /sbin/nologin
3 sync x **sync /sbin /bin/sync
4 mail x **mail /var/spool/mail /sbin/nologin
5 nobody w **no / /sbin/nologin
6 sshd w **SSH /var/empty/sshd /sbin/nologin
7 veewee w ** /home/veewee /bin/bash
8 vagrant w ** /home/vagrant /bin/bash
9 mem w **Mem /run/mem /sbin/nologin
10 apache w **apa /usr/share/httpd /sbin/nologin
五、sort 命令
将数据进行排序,并将排序结果标准输出。
1. 语法
sort [选项] [文件名]
2. 选项
-n
:以数值型进行排序,默认是使用字符串型排序-r
:反向排序-f
:忽略大小写-t
:执行分隔符,默认的分隔符是制表符-k n[,m]
:按照指定的字段范围排序。从第n字段开始,第m字段结束(默认到行尾)
3. 应用
对 'passwd' 文件内容进行排序
[root/tmp]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
sshd:x:74:74:SSH:/var/empty/sshd:/sbin/nologin
veewee:x:1000:1000::/home/veewee:/bin/bash
vagrant:x:1001:1001::/home/vagrant:/bin/bash
memcached:x:996:995:Memcached:/run/memcached:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
- 正向排序
[root/tmp]# sort passwd
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
memcached:x:996:995:Memcached:/run/memcached:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
sshd:x:74:74:SSH:/var/empty/sshd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
vagrant:x:1001:1001::/home/vagrant:/bin/bash
veewee:x:1000:1000::/home/veewee:/bin/bash
- 反向排序
[root/tmp]# sort -r passwd
veewee:x:1000:1000::/home/veewee:/bin/bash
vagrant:x:1001:1001::/home/vagrant:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
sshd:x:74:74:SSH:/var/empty/sshd:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
nobody:x:99:99:Nobody:/:/sbin/nologin
memcached:x:996:995:Memcached:/run/memcached:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
按照指定行排序
- 指定分隔符是 ":",用第三个字段排序
[root/tmp]# sort -t ":" -k 3,3 passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
veewee:x:1000:1000::/home/veewee:/bin/bash
vagrant:x:1001:1001::/home/vagrant:/bin/bash
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
sshd:x:74:74:SSH:/var/empty/sshd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
memcached:x:996:995:Memcached:/run/memcached:/sbin/nologin
- 有上面结果可知,sort 默认是按照字符串排序,若想按照数字类型排序,则需要添加
-n
选项
[root/tmp]# sort -n -t ":" -k 3,3 passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
sshd:x:74:74:SSH:/var/empty/sshd:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
memcached:x:996:995:Memcached:/run/memcached:/sbin/nologin
veewee:x:1000:1000::/home/veewee:/bin/bash
vagrant:x:1001:1001::/home/vagrant:/bin/bash
展示当前目录下所有文件和目录的大小,并按照从大到小的顺序排列
[root/var]# du -s * | sort -nr
130440 lib
57584 cache
49800 tmp
7500 log
12 spool
8 db
0 var
0 run
0 opt
0 mail
0 lock
0 local
六、wc 命令
统计文件的行数、单词数和字符数
1. 语法
wc [选项] 文件名
2. 选项
-l
:只统计行数-w
:只统计单词数-m
:只统计字符数
3. 应用
- report.md
[root/tmp]# cat report.md
ID Name Gender Score
1 Zhang F 99
2 Li M 68
3 Wang M 100
- 统计 report.md 的行数、单词数和字符数
[root/tmp]# wc report.md
4 16 57 report.md
- 只统计行数
[root/tmp]# wc -l report.md
4 report.md
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。