Linux三剑客awk

awk是一个强大的linux命令，有强大的文本格式化的能力，好比将一些文本数据格式化成专业的excel表的样式

awk早期在Unix上实现，我们用的awk是gawk，是GUN awk的意思

awk更是是一门编程语言，支持条件判断、数组、循环等功能

再谈三剑客

grep，擅长单纯的查找或匹配文本内容
sed，更适合编辑、处理匹配到的文本内容
awk，更适合格式化文本内容，对文本进行复杂处理

三个命令称之为Linux的三剑客

awk基础

awk语法

awk [option] 'pattern[action]'  file ...

awk 参数   '条件动作'  文件

Action指的是动作，awk擅长文本格式化，且输出格式化后的结果，因此最常用的动作就是print和printf

awk场景

动作场景

[root@pylinux tmp]# cat alex.txt

alex1 alex2 alex3 alex4 alex5

alex6 alex7 alex8 alex9 alex10

alex11 alex12 alex13 alex14 alex15

alex16 alex17 alex18 alex19 alex20

alex21 alex22 alex23 alex24 alex25

alex26 alex27 alex28 alex29 alex30

alex31 alex32 alex33 alex34 alex35

alex36 alex37 alex38 alex39 alex40

alex41 alex42 alex43 alex44 alex45

alex46 alex47 alex48 alex49 alex50

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]# cat alex.txt |awk '{print $2}'

alex2

alex7

alex12

alex17

alex22

alex27

alex32

alex37

alex42

alex47

我们执行的命令是awk '{print $2}'，没有使用参数和模式，$2表示输出文本的第二列信息

awk默认以空格为分隔符，且多个空格也识别为一个空格，作为分隔符

awk是按行处理文件，一行处理完毕，处理下一行，根据用户指定的分割符去工作，没有指定则默认空格

指定了分隔符后，awk把每一行切割后的数据对应到内置变量

$0表示整行
$NF表示当前分割后的最后一列
倒数第二列可以写成$(NF-1)

awk内置变量

内置变量	解释
$n	指定分隔符后，当前记录的第n个字段
$0	完整的输入记录
FS	字段分隔符，默认是空格
NF(Number of fields)	分割后，当前行一共有多少个字段
NR(Number of records)	当前记录数，行数
更多内置变量可以man手册查看	man awk

一次性输出多列

[root@pylinux tmp]# awk '{print $1,$2}' alex.txt

alex1 alex2

alex6 alex7

alex11 alex12

alex16 alex17

alex21 alex22

alex26 alex27

alex31 alex32

alex36 alex37

alex41 alex42

alex46 alex47

自动定义输出内容

awk，必须外层单引号，内层双引号

内置变量$1、$2都不得添加双引号，否则会识别为文本，尽量别加引号

[root@pylinux tmp]# awk '{print "第一列",$1,"第二列",$2,"第三列",$3}' alex.txt

第一列 alex1 第二列 alex2 第三列 alex3

第一列 alex6 第二列 alex7 第三列 alex8

第一列 alex11 第二列 alex12 第三列 alex13

第一列 alex16 第二列 alex17 第三列 alex18

第一列 alex21 第二列 alex22 第三列 alex23

第一列 alex26 第二列 alex27 第三列 alex28

第一列 alex31 第二列 alex32 第三列 alex33

第一列 alex36 第二列 alex37 第三列 alex38

第一列 alex41 第二列 alex42 第三列 alex43

第一列 alex46 第二列 alex47 第三列 alex48

输出整行信息

[root@pylinux tmp]# awk '{print}' alex.txt        #两种写法都可以

[root@pylinux tmp]# awk '{print $0}' alex.txt

awk参数

参数	解释
-F	指定分割字段符
-v	定义或修改一个awk内部的变量
-f	从脚本文件中读取awk命令

awk案例

测试文件内容

[root@pylinux tmp]# cat pwd.txt  -n

     1    sync:x:5:0:sync:/sbin:/bin/sync

     2    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

     3    halt:x:7:0:halt:/sbin:/sbin/halt

     4    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

     5    operator:x:11:0:operator:/root:/sbin/nologin

     6    games:x:12:100:games:/usr/games:/sbin/nologin

     7    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

     8    nobody:x:99:99:Nobody:/:/sbin/nologin

     9    systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

    10    dbus:x:81:81:System message bus:/:/sbin/nologin

    11    polkitd:x:999:998:User for polkitd:/:/sbin/nologin

    12    libstoragemgmt:x:998:997:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin

    13    rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

    14    ntp:x:38:38::/etc/ntp:/sbin/nologin

显示文件第五行

#NR在awk中表示行号，NR==5表示行号是5的那一行

#注意一个等于号，是修改变量值的意思，两个等于号是关系运算符，是"等于"的意思

[root@pylinux tmp]# awk 'NR==5' pwd.txt

operator:x:11:0:operator:/root:/sbin/nologin

显示文件2-5行

设置模式（条件）

#告诉awk，我要看行号2到5的内容

[root@pylinux tmp]# awk 'NR==2,NR==5' pwd.txt

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

给每一行的内容添加行号

添加变量，NR等于行号，$0表示一整行的内容

{print }是awk的动作

[root@pylinux tmp]# awk  '{print NR,$0}'  alex.txt

1 alex1 alex2 alex3 alex4 alex5

2 alex6 alex7 alex8 alex9 alex10

3 alex11 alex12 alex13 alex14 alex15

4 alex16 alex17 alex18 alex19 alex20

5 alex21 alex22 alex23 alex24 alex25

6 alex26 alex27 alex28 alex29 alex30

7 alex31 alex32 alex33 alex34 alex35

8 alex36 alex37 alex38 alex39 alex40

9 alex41 alex42 alex43 alex44 alex45

10 alex46 alex47 alex48 alex49 alex50  alex51

显示文件3-5行且输出行号

[root@pylinux tmp]# awk 'NR==3,NR==5  {print NR,$0}' alex.txt

3 alex11 alex12 alex13 alex14 alex15

4 alex16 alex17 alex18 alex19 alex20

5 alex21 alex22 alex23 alex24 alex25

显示pwd.txt文件的第一列，倒数第二和最后一列

[root@pylinux tmp]# cat pwd.txt -n

     1    sync:x:5:0:sync:/sbin:/bin/sync

     2    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

     3    halt:x:7:0:halt:/sbin:/sbin/halt

     4    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

     5    operator:x:11:0:operator:/root:/sbin/nologin

     6    games:x:12:100:games:/usr/games:/sbin/nologin

     7    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

     8    nobody:x:99:99:Nobody:/:/sbin/nologin

     9    systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

    10    dbus:x:81:81:System message bus:/:/sbin/nologin

    11    polkitd:x:999:998:User for polkitd:/:/sbin/nologin

    12    libstoragemgmt:x:998:997:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin

    13    rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

    14    ntp:x:38:38::/etc/ntp:/sbin/nologin

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]# awk -F ':' '{print $1,$(NF-1),$NF}' pwd.txt

sync /sbin /bin/sync

shutdown /sbin /sbin/shutdown

halt /sbin /sbin/halt

mail /var/spool/mail /sbin/nologin

operator /root /sbin/nologin

games /usr/games /sbin/nologin

ftp /var/ftp /sbin/nologin

nobody / /sbin/nologin

systemd-network / /sbin/nologin

dbus / /sbin/nologin

polkitd / /sbin/nologin

libstoragemgmt /var/run/lsm /sbin/nologin

rpc /var/lib/rpcbind /sbin/nologin

ntp /etc/ntp /sbin/nologin

Linux三剑客awk的相关教程结束。