高效日志分析 - 人人必学的awk

周小六
作为每一个Linux发行版本都会内置的文本处理程序,awk是快速分析日志的不二之选。

服务日志分析是对了解服务状况、发现问题的最有效的手段。最近发现很多同学在分析服务日志的时候走了弯路:选择使用编程(js、php、python甚至是c)、甚至使用ELK来完成一次性日志统计分析。其实系统自带了功能非常强大的工具:awk,每一个程序员、甚至是每一个IT从业者都需要学会使用awk完成文本的处理和日志分析。

什么是awk

Linux command - awk

One of the great things we can do in the shell.

几乎每一个Linux发行版本都会内置awk,在大小仅有4.2M的Alpine:3.7 Docker Image里面也内置了awk。由此可见其重要性。

废话少说,直接进入日志分析。

实战

选用最常见的Nginx日志。

Nginx日志的配置为

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" '
                      '$request_time $upstream_response_time';

相比默认日志,添加了请求的响应时间和upstream的响应时间。

100.120.34.170 - - [24/Jan/2019:00:06:02 +0800] "GET /page1 HTTP/1.1" 200 29087 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)" "36.110.179.109" 0.138 0.138

统计IP和出现过的次数

cat file | awk -F " " '{print $1}' | awk '{cnt[$0]++}END{for(i in cnt){print i,cnt[i]}}'

一些个人的喜好:先cat再用管道传给awk;每个awk只做简单的事情,管道传递给下一阶段继续,更清晰易懂分开调试

  • -F " ":以空格做分隔符,默认分隔符就是空格,因此可以被省略
  • cnt是一个数组,以$0作为key,value每次累加;$0指整行
  • END指处理完所有行,再执行后面的逻辑
  • for(i in cnt)遍历cnt并打印key和value

只对IP进行去重

一般用法:

cat file | awk -F " " '{print $1}' | sort | uniq
  • 一定要先sortuniq,否则只对相邻的相邻值去重
  • 由于会排序,速度较慢,==不推荐==

awk用法:

cat file | awk '{cnt[$1]++}END{for(i in cnt){print i}}'

awk高级用法:

cat file | awk '{print $1}' | awk '!a[$0]++'
  • '!a[$1]++'是一个判断条件,条件为true的时候输出整行

或者

cat file | awk '!a[$1]++{print $1}'

统计平均响应时间

cat file | awk '{a+=$(NF-1);b++}END{print a/b}'
  • $NF是最后一个字段,$(NF-1)是倒数第二个字段
  • a+=$(NF-1)对所有值累加, b++计数

统计时间分布和比例

cat file | awk '{print $(NF-1)}'|awk '{print int($0)}'|awk '
    {
        cnt[$0]++;
        total++
    }
    END {
        for(i in cnt) {
            print i"~"i+1,cnt[i],cnt[i]/total*100"%"
        }
    }' | sort -n

print简单一点,方便理解

print i,cnt[i],cnt[i]/total
printf("%d~%d %d %f%\n",i,i+1,cnt[i],cnt[i]/total)
  • int($(NF-1))对数组进行取整
  • 四舍五入可以用int($(NF-1) + 0.5)
  • sort -n结果按数字排序
  • printprintf可任意选取使用

统计每小时处理时间的平均值

cat file | awk '{print $NF, $4}'| awk -F"[ :]" '{print $1,$3}' | awk '
    {
        sum[$2]+=$1;
        cnt[$2]++
    }
    END {
        for(i in sum) {
            print i, sum[i]/cnt[i]
        }
    }' | sort -n
  • -F "[ :]"指用空格或者冒号作为分隔符
  • 由于一次切割不容易获取到想要的字符串,故多做几次切割
  • 用两个数组用于分小时统计
阅读 3.1k
7 声望
1 粉丝
0 条评论
7 声望
1 粉丝
文章目录
宣传栏