《Shell编程从入门到精通》张昊-chap1-8

缘起

20190314开始复习及学习吧；
张昊编著；

内容

chap1 第1个Shell程序 1（13/334）

1.1、第一道菜

[echo.sh]
- ```
#!/bin/sh
cd /tmp
echo "hello world!"
```
（1）每一行代码是啥意思；（2）如何运行程序？

1.2、如何运行程序

1.2.1 选婿：位于第一行的#!

匹配解释器。
解释器路径可以用whereis bash查。

自删除脚本

#!/bin/rm
# 运行这个脚本时，什么也不会发生，只是删自已
WHATEVER=65
echo "This line will never print!"
exit $WHATEVER  #脚本不会在这退出

1.2.2 找茬：程序执行的差异
- source echo.sh时，改变了目录。
1.2.3 shell的命令种类
- （1）内建命令
- （2）shell函数
- （3）外部命令
- 要知道source执行的差异，不会创建子进程，直接在父进程中执行。

1.3、Linux Shell的变量

1.3.1、变量

测试全局变量和局部变量的适用范围

#!/bin/sh
num=123
func1()
{
    num=321
    echo $num
}
Func2()
{
    local num=456  #局部变量
    echo $num
}
echo $num
func1
echo $num
func2
echo $num

1.3.2、用echo输出变量
- echo 掌握各种转义字符
1.3.3、环境变量的相关操作
- export命令
- bash的启动文件/登出文件
  - /etc/profile
  - /etc/bashrc
  - $HOME/.bash_profile
  - $HOME/.bashrc
  - $HOME/.bash_logout
- unset命令
- env命令
1.3.4、shell中的一些常用环境变量

1.4、Linux Shell是解释型语言

1.4.1、编译型语言和解释型语言
1.4.2、Linux Shell编程的优势

1.5、小结

chap2 shell编程基础 15（27/334）

2.1、向脚本传递参数

2.1.1、Shell脚本的参数
- Shell编程中的函数
  - ```
  testfunc()
  {
      echo "$# parameters";
      echo "$@";
  }
```
- shell编程中参数引用
  - 0,1,2...
  - *
  - @
  - #
  - $
  - !
  - ?
  - -
- 在
2.1.2、参数的用途
- [ps.sh]
  - ```
  #! /bin/sh
  ps -eLf | grep $1
```
- mv和mkdir命令

2.2、I/O重定向

2.2.1、标准输入、标准输出与标准错误
- cat命令后面的主要参数
2.2.2、管道与重定向
- >、<、>>、|
- head命令
2.2.3、文件描述符
2.2.4、特殊文件的妙用
- /dev/null
- /dev/zero
- /dev/tty
- read命令，我基本没在命令中用过，最多编程中有用

2.3、基本文本检索

grep相关命令

2.4、Unix/Linux系统的设计与shell编程

2.4.1、一切皆文件
- Linux文件的后缀名
- Linux文件类型
- ls命令
2.4.2、UNIX编程的基本原则

2.5、小结

chap3 编程的基本元素 39（51/334）

3.1、再识变量

[variable.sh]
shell中有3种变量：
- 用户变量
- 位置变量：在对参数判断和命令返回值判断时使用。也叫系统变量
- 环境变量
3.1.1、用户变量

3.1.2、位置变量

也叫系统变量，直接引用只能$0~$9，超过要用括号，即${10}
[process.sh]

[Process2.sh]

#!/bin/sh
if[ $# -ne 2 ];
then
    echo "Usage: $0 string file";
    exit 1;
fi
grep $1 $2;

if[ $? -ne 0 ];
then
    echo "Not Found \"$1\" in $2";
    exit 1;
fi
echo "found \"$1\" in $2";

3.1.3、环境变量
3.1.4、启动文件

3.2、函数

0
- 当shell执行函数时，并不独立创建子进程。
- shell执行命令的顺序
- 函数的使用规则
- 自动加载

3.2.1、函数定义

unset -f funcname 删除函数

[user_login.sh]

#!/bin/bash
function user_login()
{
    if who | grep $1 >/dev/null
    then
        echo "User $1 is on."
    else
        echo "User $1 is off."
    fi
}

3.2.2、函数的参数和返回值
- [演示函数的返回值]
  - ```
  #! /bin/bash
  add()
  {
      let "sum=$1+$2"
      return $sum
  }
```

3.3、条件控制与流程控制

3.3.1、if/else语句
3.3.2、退出状态
- $?返回上一条语句的退出状态
- 退出状态值
  - 0：成功
  - >0：在重定向或单词展开期间（）失败
  - 1~125：退出失败
  - 126：命令找到，但无法执行命令文件
  - 127：命令无法找到
  - >128：命令因收到信号而死亡
3.3.3、退出状态与逻辑操作
3.3.4、条件测试

3.4、循环控制

3.4.1、for循环

3.4.2、while/until循环

[遍历PATH路径]

path = $PATH
while [ -n $path ];
do
    ls -ld ${path%%:*} #ls -ld显示path的第一个目录
    path = ${path#*:} #截去path中第一个目录和冒号
done

3.4.3、跳出循环
- break

3.4.4、循环实例

[例3.17 命令行参数处理]

[例3.18 getopt的使用]

author=false
list=false
file=""

while getopt alf: opt
do
    case $opt in
    f)  file=$OPTARG   #将-f参数的下一个参数截取至file变量
        ;;
    l)  list = true
        ;;
    a)  author = true
        ;;
    esac
done

shift ${{OPTIND - 1}} #删除选项，留下参数

getopt分析命令行标志和参数

3.5、小结

chap4 正则表达式 66（78/334）

0
- grep、sed、awk、more、vi

4.1、什么是正则表达式

4.1.1　正则表达式的广泛应用
4.1.2　如何学习正则表达式
- 读例子；理解后再修改和实践
4.1.3　如何实践正则表达式
- 不断修改、测试

4.2、正则基础

4.2.1　元字符
- 都支持的meta字符
  - ^：锚定行或字符串的开始
  - $：锚定行或字符串的结束
  - .
  - *
  - [...]
  - \
- 不同的meta字符
- grep程序支持的meta字符plus
4.2.2　单个字符
- 一般字符
- 转义的meta字符
- .（点号）字符
- 方括号表达式
4.2.3　单个表达式匹配多个字符
4.2.4　文本匹配锚点
4.2.5　运算符优先级
4.2.6　更多差异
- 后向引用
- 分组
- 交替

4.3、正则表达式的应用

4.3.1、扩展
- ed命令的演化成grep和sed
- [例4.9 单词的开头结尾匹配]
- GNU支持的额外正则表达式运算符
4.3.2　案例研究：罗马数字
- [例4.11 检验百位数]
4.3.3　案例研究：解析电话号码

4.4、小结

chap5 基本文本处理 87（99/334）

0
- sort、uniq、cut、join、head、tail、grep、wc、fmt、fold、pr、tr

5.1、排序文本

5.1.1、sort命令的行排序
- 例5.1 使用sort命令按照ASCII顺序排序文本 sort file.txt
- 例5.2 字典序 sort -d file.txt
- 例5.3 忽略大小写差异 sort -d -f file.txt
5.1.2、sort命令的字段排序
- sort -t: -k3 -n /etc/group
5.1.3、sort小结
- 例5.5 sort命令不稳定性演示

5.2、文本去重

uniq

5.3、统计文本行数、字数以及字符数

wc

5.4、打印和格式化输出

5.4.1、使用pr打印文件
5.4.2、使用fmt命令格式化文本
5.4.3、使用fold限制文本宽度

5.5、提取文本开头和结尾

head与tail

5.6、字段处理

5.6.1、字段的使用案例
5.6.2、使用cut取出字段
5.6.3、使用join连接字段
5.6.4、其他字段处理方法
- awk

5.7、文本替换

5.7.1、使用tr替换字符
5.7.2、其他选择
- sed、awk、perl、python

5.8、一个稍微复杂的例子

5.8.1、实例描述
5.8.2、取出记录的ip字段和id字段
5.8.3、将记录按照ip顺序排序
5.8.4、使用uniq统计重复ip
5.8.5、根据访问次数进行排序
5.8.6、提取出现次数最多的100条

5.9、小结　

chap6 文件和文件系统　118（130/334）

0
- ls、cat、chown、chgrp、chmod、umask、mkdir、touch、find、xargs、comm、diff、vimdiff、fdisk、mkfs、df、mount

6.1、文件

6.1.1、列出文件
6.1.2、文件的类型
6.1.3、文件的权限
- chown和chgrp，以及chmod
6.1.4、文件的修改时间
- 用touch更新文件的访问和修改时间

6.2、寻找文件

6.2.1、find命令的参数
6.2.2、遍历文件
- [例6.10 xargs使用]
  - find /tmp -type f -print | xargs file

6.3、比较文件

6.3.1、使用comm比较排序后文件
- comm file1 fiel2
6.3.2、使用diff比较文件
6.3.3、其他文本比较方法
- vimdiff

6.4、文件系统

6.4.1、什么是文件系统
6.4.2、文件系统与磁盘分区
6.4.3、linux分区格式的选择与安全性
6.4.4、文件系统与目录树
6.4.5、文件系统的创建与挂载

6.5、小结

chap7 流编辑　155（167/334）

7.1、什么是sed

7.1.1　挑选编辑器
- VI是交互式编辑器。
- sed是流编辑器，可以对从管道这样的标准输入接收的数据进行编辑。
7.1.2　sed的版本
- sed --version

7.2、sed示例

7.2.1　sed的工作方式
- sed是基于行的，不修改任何输入文件，将结果写入标准输出（stdout）。
- sed -e 'd' /tmp/passwd.bak # d是删除，全部删除
- sed -e '5d' /tmp/passwd.bak # 删除第5行
7.2.2　sed工作的地址范围
7.2.3　规则表达式

7.3、更强大的sed功能

7.3.1　替换
- sed -e 's/power/jiechen/g' /tmp/a.c #s是替换，g是全局
7.3.2　地址范围的迷惑

7.4、组合命令

7.4.1　组合多条命令
- sed -n -e '=;p' /tmp/passwd.piece
7.4.2　将多条命令应用到一个地址范围

7.5、实际的例子

sed -e 's/$/\r/' myunix.txt > mydos.txt

7.6、sed实践　167

7.6.1　第一步替换名字
7.6.2　第二步删除前3行
7.6.3　第三步显示5～10行
7.6.4　第四步删除包含lane的行
7.6.5　第五步显示生日在november-december之间的行
7.6.6　第六步把3个星号(*)添加到以fred开头的行
7.6.7　第七步用jose hasretired取代包含jose的行
7.6.8　第八步把popeye的生日改成11/14/46
7.6.9　第九步删除所有空白行
7.6.10　第十步脚本

7.7、小结

chap8 文本处理利器awk 176（188/334）

8.1、来个案例

awk '{print $0}' /etc/fstab # print $0是打印整行，print和print $0效果是一样的
awk常常用于处理字段，我个人理解为列处理

8.2、基本语法

8.2.1　多个字段
8.2.2　使用其他字段分隔符
- awk -F ":" '{print "USER: "$1 "\tSHELL: "$7}' /tmp/passwd.piece
- ‘-F’设置的是awk的初始化变量FS，FS默认的字段分格符是空白字符，现在改成冒号

8.3、awk语言特性

8.3.1　awk代码结构
8.3.2　变量与数组
8.3.3　算术运算和运算符
8.3.4　判断与循环
8.3.5　多条记录

8.4、用户自定义函数

8.4.1　自定义函数格式
8.4.2　引用传递和值传递
8.4.3　递归调用

8.5、字符串与算术处理

8.5.1　格式化输出
8.5.2　字符串函数
8.5.3　算术函数

8.6、案例分析

8.6.1　生成数据报表
8.6.2　多文件联合处理
8.6.3　检验passwd格式的正确性
8.6.4　sed/awk单行脚本

8.7、小结　222

收获

履历

20190314过了一遍chap1和2，还是有一些知识点不知道的。
- shell中的参数引用就不熟。
20190315过了一遍chap3-5。
- chap03来看，还是自已读、写shell有点少，语法有些点不懂外，写得就更少，要从基础的实践一下，觉得门入得还不深。
- chap04正则基本都会用到，但各种细节和元字符并没有完全了解。
- 毕竟没有处理过文本，chap5里的命令大部分是我没有接触的，更没说对参数的了解了，但基本上属于一讲还是能懂的啊。
20190316过了一遍chap6
- find里的xargs参数；以及comm命令，我用得确实不多。
20190318过了一遍chap7、08
- 熟悉了一下sed的各个参数，例子场景不错，但我还没有实践呢。
- chap08只是简单看看，原来'awk'还可以自成函数，这个反正是不记得了，不清楚以前看没看过呢。awk要好好学学

《Shell编程从入门到精通》张昊-chap1-8

缘起

内容

chap1 第1个Shell程序 1（13/334）

1.1、第一道菜

1.2、如何运行程序

1.3、Linux Shell的变量

1.4、Linux Shell是解释型语言

1.5、小结

chap2 shell编程基础 15（27/334）

2.1、向脚本传递参数

2.2、I/O重定向

2.3、基本文本检索

2.4、Unix/Linux系统的设计与shell编程

2.5、小结

chap3 编程的基本元素 39（51/334）

3.1、再识变量

3.2、函数

3.3、条件控制与流程控制

3.4、循环控制

3.5、小结

chap4 正则表达式 66（78/334）

4.1、什么是正则表达式

4.2、正则基础

4.3、正则表达式的应用

4.4、小结

chap5 基本文本处理 87（99/334）

5.1、排序文本

5.2、文本去重

5.3、统计文本行数、字数以及字符数

5.4、打印和格式化输出

5.5、提取文本开头和结尾

5.6、字段处理

5.7、文本替换

5.8、一个稍微复杂的例子

5.9、小结

chap6 文件和文件系统 118（130/334）

6.1、文件

6.2、寻找文件

6.3、比较文件

6.4、文件系统

6.5、小结

chap7 流编辑 155（167/334）

7.1、什么是sed

7.2、sed示例

7.3、更强大的sed功能

7.4、组合命令

7.5、实际的例子

7.6、sed实践 167

7.7、小结

chap8 文本处理利器awk 176（188/334）

8.1、来个案例

8.2、基本语法

8.3、awk语言特性

8.4、用户自定义函数

8.5、字符串与算术处理

8.6、案例分析

8.7、小结 222

收获

履历

im天行

引用和评论

chap03使用线程池

Shell脚本实现Twitter的Snowflake算法的ID生成器

【职业发展】从ETL到大数据：如何规划你的数据职业生涯？

Linux shell 使用 trap 命令优雅处理程序中断： shell 中的回调、锁与事务、以及 debug 调试

5.9、小结　

chap6 文件和文件系统　118（130/334）

chap7 流编辑　155（167/334）

7.6、sed实践　167

8.7、小结　222