【Linux】Linux 常用命令

作者：LogM

本文原载于 https://segmentfault.com/u/logm/articles ，不允许转载~

0. 关于 Linux 命令的正则表达式

awk、sed、grep 使用的是不同标准的正则表达式，而且与 C++、Python、Java 中的正则表达式标准还不一样，真的蛋疼，详见正则表达式派别综述。

1. `find` 文件查找

# 查找txt文件
# -iname：忽略大小写
find . -name "*.txt"
find . -iname "*.txt"

# 正则表达式查找.txt和.cpp文件，注意特殊符号用`\`转义
# -iregex：忽略大小写
find . -regex ".*\.\(txt\|cpp\)$"
find . -iregex ".*\.\(txt\|cpp\)$"

# 使用`!`进行否定，查找非.txt或.cpp的所有文件
find . ! -regex ".*\.\(txt\|cpp\)$"

# 查找指定深度和指定类型：f为文件，d为目录，l为符号连接
find . -maxdepth 3 -type f

# 查找后进行指定操作，`-ok`逐文件提示是否进行操作，`-exec`无提示，注意结尾的`;`
find . -type f -name "*.txt" -ok cat {} \;
find . -type f -name "*.txt" -exec cat {} \;

# 排除指定文件夹
find / -path "/home" -prune -o -path "/proc" -prune -o  -name "*.txt"

2. `grep` 文本搜索

# 在文件中查找"match_pattern"，允许多个文件，支持正则表达式
grep "match_pattern" file_1 file_2 file_3

# grep 使用的正则表达式有点特殊，我自己会使用`-P`来打开"PCRE正则兼容"
grep -P "match_pattern" file_1 file_2 file_3

# 只打印匹配到的文件名
grep -l "match_pattern" file_1 file_2 file_3

# 忽略大小写
grep -i "match_pattern" file_name

# 输出除"match_pattern"的其他行
grep -v "match_pattern" file_name

# 输出的结果中，对匹配的区域进行高亮
grep "match_pattern" file_name --color=auto

# 只输出匹配"match_pattern"的区域，而非一行
grep -o "match_pattern" file_name

# 每个输出的前面带上这个区域在原文件中的位置（第一个字符为0，第二个字符为1，依次类推），一般`-b``-o`连用
grep -b -o "match_pattern" file_name

# 每行输出的前面带上这行在原文件中的行号
grep -n "match_pattern" file_name

# 统计文件中包含文本的行数
grep -c "match_pattern" file_name

# 在目录下递归查找，`-r`和`-R`效果相同
grep -r "match_pattern" path
grep -R "match_pattern" path

# `-e`允许多个"match_pattern"
grep -e ".*\.html" -e ".*\.php" file_name

# `-E`使用正则表达式的写法有所改变，等同于egrep，貌似是`|`和`&`不再需要`\`转义且`*`表示任意数量的任意字符
grep -E "*\.php|*\.html" file_name --color=auto
# 等同于
grep ".*\.html\|.*\.php" file_name

3. `xargs` 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find。

# 将多行输出转化为单行输出(`\n`是多行文本间的定界符)
cat file.txt| xargs

# 将单行转化为多行输出(`-n`指定每行显示的字段数)
cat single.txt | xargs -n 3

# xargs参数说明:
# -d 定义定界符 （默认为空格 多行的定界符为 \n）
# -n 指定输出为多行
# -I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时

# 复制所有图片文件到 /data/images 目录下
ls *.jpg | xargs -n1 -I {} cp {} /data/images

# 打印目录下所有 .cpp 的文件的行数
find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

4. `sort` 排序

# -n 按数字进行排序 VS -d 按字典序进行排序
# -r 逆序排序
# -k N 指定按第N列排序
# -t 指定分割符

sort -nrk 1 data.txt
sort -bd data # 忽略像空格之类的前导空白字符

# 对于指定分割符为特殊字符时需要注意
sort -t '\t' -k3 a.txt
# 上述命令报错：sort: multi-character tab `\t'
# 正确写法：
sort -t $'\t' -k3 a.txt

5. `uniq` 消除重复行

# 使用`uniq`前，必须先使用`sort`

sort unsort.txt | uniq  # 行去重后的结果

sort unsort.txt | uniq -c  # 行前打印该行重复次数

sort unsort.txt | uniq -d  # 只打印出现重复的行

6. `tr` 替换或删除字符

echo "HELLO WORLD" | tr 'A-Z' 'a-z'  # 大写字母转小写

cat text| tr '\t' ' '  # 制表符转空格

# -d 删除
cat file | tr -d '0-9' # 删除所有的数字字符

# -c 求补集
cat file | tr -c '0-9' '?'  # 把所有非数字的字符替换为'?'
cat file | tr -d -c '0-9 \n'  # 删除所有非数字的字符，注意换行和空格的保留

# -s 压缩文本中出现的重复字符；最常用于压缩多余的空格
cat file | tr -s ' '    # 删除重复的空格

# 字符类
# tr中可用各种字符类：
# alnum：字母和数字
# alpha：字母
# digit：数字
# space：空白字符
# lower：小写
# upper：大写
# cntrl：控制（非可打印）字符
# print：可打印字符
# 使用方法：tr [:class:] [:class:]
tr '[:lower:]' '[:upper:]'  # 大小写转换也可以这么写

7. `cut` 按列切分文本

# cut从每一行切割字符串，把指定列输出
# -b：以字节为单位，显示每行第n个字节
# -c：以字符为单位，显示每行第n个字符
# -f：以分隔符分割字段，显示每行第n个字段的内容
# -d：指定字段的分隔符，默认的字段分隔符为“TAB”
# --complement 求补，提取指定字段之外的列

# cut 取的范围：
# N- 第N个字段到结尾
# -M 第1个字段为M
# N-M N到M个字段

cut -d";" -f2,4 filename  # 提取文件的第2列和第4列，`;`分隔

cut -d";" -f3 --complement filename  # 提取文件除第3列外的所有列：

cut -c1-5 file # 打印第1到5个字符

8. `paste` 按列拼接文本

# 将两个文本按列拼接到一起

paste file1 file2   # 默认在列方向上合并
paste -s file1 file2   # 在行方向上合并
paste file1 file2 -d “,”  # 指定合并后的字段分隔符

9. `wc` 统计行和字符的工具

wc -l file # 统计行数
wc -w file # 统计单词数
wc -c file # 统计字符数

10. `sed` 文本替换利器

# s是sed命令，表示替换字符
# g是sed替换标记，表示全部替换
# 首处替换
seg 's/text/replace_text/' file   # 替换每一行的第一处匹配的text

# 全局替换
seg 's/text/replace_text/g' file

# -i 直接修改源文件
seg -i 's/text/repalce_text/g' file

# 移除空白行：
# d是sed命令，表示删除匹配的行
sed '/^$/d' file

# 变量转换，已匹配的字符串通过标记&来引用
echo this is en example | seg 's/\w+/[&]/g'$ 
# 输出：[this] [is] [en] [example]

# 子串匹配标记
# 第一个匹配的括号内容使用标记 \1 来引用
sed 's/hello\([0-9]\)/\1/'

# 双引号求值
# sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：
sed 's/$var/HLLOE/'

# 当使用双引号时，我们可以在sed样式和替换字符串中指定变量；
eg:p=patten
r=replaced
echo "line con a patten" | sed "s/$p/$r/g"$>line con a replaced

# 其它示例
# 字符串插入字符：将文本中每行内容（PEKSHA） 转换为 PEK/SHA
sed 's/^.\{3\}/&\//g' file

11. `awk` 数据流处理工具

# awk脚本结构
awk 'BEGIN{ statements } statements2 END{ statements } '

# 工作方式：
# 执行begin中语句块；
# 从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；
# 执行end语句块；

# print 打印当前行
# 使用不带参数的print时，会打印当前行;
echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }'

# print 以逗号分割时，参数以空格定界;
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1, var2 , var3; }'
# 输出：v1 V2 v3

# 使用-拼接符的方式（'-'作为拼接符）;
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1"-"var2"-"var3; }'
# 输出：v1-V2-v3

# 特殊变量： NR NF $0 $1 $2
# NR:表示记录数量，在执行过程中对应当前行号；
# NF:表示字段数量，在执行过程总对应当前行的字段数；
# $0:这个变量包含执行过程中当前行的文本内容；
# $1:第一个字段的文本内容；
# $2:第二个字段的文本内容；
echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"1"-"$2}'

# 打印每一行的第二和第三个字段：
awk '{print $2, $3}' file

# 统计文件的行数：
awk ' END {print NR}' file

# 累加每一行的第一个字段：
echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{sum = 0; print "begin";} {sum += $1;} END {print "=="; print sum }'

# 用样式对awk处理的行进行过滤
awk 'NR < 5' #行号小于5
awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来
awk '/linux/' #包含linux文本的行（可以用正则表达式来指定，超级强大）
awk '!/linux/' #不包含linux文本的行

# 设置定界符
# 使用-F来设置定界符（默认为空格）
awk -F: '{print $NF}' /etc/passwd

# 读取命令输出
# 使用getline，将外部shell命令的输出读入到变量cmdout中；
echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }'

# 在awk中使用循环
for(i=0;i<10;i++){print $i;}
for(i in array){print array[i];}

# 以逆序的形式打印行：(tac命令的实现）
seq 9| awk '{lifo[NR] = $0; lno=NR} END{ for(;lno>-1;lno--){print lifo[lno];}}'

# awk实现head、tail命令
# head:
awk 'NR<=10{print}' filename

# tail:
awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){ print buffer[i %10]} } ' filename

# 打印指定列
# awk方式实现：
ls -lrt | awk '{print $6}'

# cut方式实现
ls -lrt | cut -f6

# 打印指定文本区域
# 确定行号
seq 100| awk 'NR==4,NR==6{print}'

# 确定文本
# 打印处于start_pattern 和end_pattern之间的文本；
awk '/start_pattern/, /end_pattern/' filename

seq 100 | awk '/13/,/15/'cat /etc/passwd| awk '/mai.*mail/,/news.*news/'

# awk常用内建函数
# index(string,search_string): 返回search_string在string中出现的位置
# sub(regex,replacement_str,string): 将正则匹配到的第一处内容替换为replacement_str;
# match(regex,string): 检查正则表达式是否能够匹配字符串；
# length(string): 返回字符串长度
echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }'

# printf 类似c语言中的printf，对输出进行格式化
seq 10 | awk '{printf "->%4s\n", $1}'

12. 迭代文件中的行、单词和字符

# 1. 迭代文件中的每一行
# while 循环法
while read line;doecho $line;done < file.txt改成子shell:cat file.txt | (while read line;do echo $line;done)

# awk法：
cat file.txt| awk ‘{print}’

# 2.迭代一行中的每一个单词
for word in $line;do echo $word;done

# 3. 迭代每一个字符
# ${string:start_pos:num_of_chars}：从字符串中提取一个字符；(bash文本切片）
# ${#word}:返回变量word的长度
for((i=0;i<${#word};i++))doecho ${word:i:1);done

13. 压缩与解压

# 对于*.zip文件
zip -r examples.zip dir  # 压缩，-r 表示处理文件夹
unzip filename.zip  # 解压

# 对于*.tar文件
# 解压
# 从1.15版本开始tar就可以自动识别压缩的格式,故不需人为区分压缩格式就能正确解压
# -x: extract 解压
# -v: verbose 详细信息
# -f: file(file=archieve) 文件
tar -xvf filename.tar.gz
tar -xvf filename.tar.bz2
tar -xvf filename.tar.xz
tar -xvf filename.tar.Z
# -C: 解压到指定目录
tar -xvf filename.tar.gz -C ./

# 压缩
# -c, create 创建压缩文件
# -z, --gzip 通过gzip压缩的形式对文件进行归档
# -j, --bzip2 通过bzip2压缩的形式对文件进行归档
tar -zcvf file.tar file1       # 压缩file1文件，压缩形式为gzip
tar -cvf file.tar file1 file2 # 压缩file1，file2文件，仅打包不使用压缩
tar -cvf file.tar dir         # 压缩dir目录

14. 一些实用的命令

# 从文件中随机抽取n行
awk 'BEGIN{srand()} {print rand()"\t"$0}' input_file | sort -nk 1 | head -n line_num | awk -F "\t" '{print $2}' 

# 建立硬链接（实体链接）
ln -s targetFile linkFile
# -i 交互模式，文件存在则提示用户是否覆盖。
# -s 软链接(符号链接)。
# -d 允许超级用户制作目录的硬链接。
# -b 删除，覆盖以前建立的链接

【Linux】Linux 常用命令

0. 关于 Linux 命令的正则表达式

1. `find` 文件查找

2. `grep` 文本搜索

3. `xargs` 命令行参数转换

4. `sort` 排序

5. `uniq` 消除重复行

6. `tr` 替换或删除字符

7. `cut` 按列切分文本

8. `paste` 按列拼接文本

9. `wc` 统计行和字符的工具

10. `sed` 文本替换利器

11. `awk` 数据流处理工具

12. 迭代文件中的行、单词和字符

13. 压缩与解压

14. 一些实用的命令

LogM

引用和评论

【Linux】screen 常用命令

Docker 万字入门教程

有了它，再也不用死记硬背Linux命令了

linux下使用笔记本的相关设置

记录一次Linux下安装Oracle数据库的过程

docker 使用--storage-opt参数约束容器文件系统大小

服务器ssh安全

【Linux】Linux 常用命令

0. 关于 Linux 命令的正则表达式

1. find 文件查找

2. grep 文本搜索

3. xargs 命令行参数转换

4. sort 排序

5. uniq 消除重复行

6. tr 替换或删除字符

7. cut 按列切分文本

8. paste 按列拼接文本

9. wc 统计行和字符的工具

10. sed 文本替换利器

11. awk 数据流处理工具

12. 迭代文件中的行、单词和字符

13. 压缩与解压

14. 一些实用的命令

LogM

引用和评论

【Linux】screen 常用命令

Docker 万字入门教程

有了它，再也不用死记硬背Linux命令了

linux下使用笔记本的相关设置

记录一次Linux下安装Oracle数据库的过程

docker 使用--storage-opt参数约束容器文件系统大小

服务器ssh安全

1. `find` 文件查找

2. `grep` 文本搜索

3. `xargs` 命令行参数转换

4. `sort` 排序

5. `uniq` 消除重复行

6. `tr` 替换或删除字符

7. `cut` 按列切分文本

8. `paste` 按列拼接文本

9. `wc` 统计行和字符的工具

10. `sed` 文本替换利器

11. `awk` 数据流处理工具