Shell脚本怎么写?Linux命令之awk上期(awk是一门语言概述)

2026年01月20日/ 浏览 10

同学们好啊,今天周末,昨天加了一天班,今天才腾出手来,给大家讲讲linux 里功能可能是最强大的命令,awk。

awk 可谓是一个小型化的编程语言,看着像是一个命令而已,其实内里乾坤那可是真的大,不知道今天这篇文章是否能给大家完全讲清楚,如果一节课讲不清楚的话,我们可能还得增加一次。

好的,按照惯例,我们先回顾一下之前学习的内容,如果你想不起来之前的内容的话,请点击下面链接跳转回忆一下:

Shell脚本怎么写?(0)

Shell脚本怎么写?(1)——Shell 变量类型和定义

Shell脚本怎么写?(1-2)——Shell 变量的高级用法

Shell脚本怎么写?之 Shell脚本中的流程控制(1)

Shell脚本怎么写?之 Shell脚本中的流程控制(2)

Shell脚本怎么写?之简单Shell 脚本编写实践

Shell脚本怎么写?之简单Shell 脚本函数和模块

Shell脚本怎么写?Linux命令三剑客之sed命令

好了,废话不多说,我们开始今天的内容吧。

按照上节课讲过的,我们想了解一个新的linux 命令时,先找一下男人,执行一把 man awk。

结果如下:

大家看到没,awk是官方钦定的编程语言哟

先贴一段awk 的概览描述如下:

awk 是一种处理文本文件的语言,是一个强大的文本分析工具。

awk 通过提供编程语言的功能,如变量、数学运算、字符串处理等,使得对文本文件的分析和操作变得非常灵活和高效。

我们经常使用awk 处理以行为粒度的数据,大家一定要记着这个,这是我们在做脚本编程时,有那么多工具命令,具体选择什么工具和命令才能简洁的实现我们想要的功能的基础。

下面先看一个示例,了解一下awk 的强大:

场景如下:

我们有一个score.txt 的文件,具体内容如下:

score.txt,待awk处理的文件

我们有个需求,假设这个文件的来源是某个程序生成的日志数据文件,当前格式的可读性很差,我们想自动化的处理以上日志文件的数据,并生成一个可读格式的报表。

此时我们就可以使用awk来简单的实现这个功能,而不需要借助任何除了linux 之外的工具和其它语言(如python等)。

那怎么实现呢?

请看下面的内容:

如上图,cal.awk文件的内容,awk支持脚本执行,通过awk -f 即可

可以看到,我们的score.txt 的日志文件,分别有五列,awk 以行为粒度进行处理。

我们通过简单的awk 脚本语言,把数据进行整理,格式化,求和和平均值等操作后,进行格式化输出。

先看下处理后的运行结果,然后我们再详细解读下以上脚本的每个部分的具体含义。(写到这里的时候,我感觉今天一篇文章估计是介绍不完了,下一篇将继续介绍awk在Linux上的额使用,今天能把awk的语法介绍清楚就不错了)。

我们怎么使用上面的cal.awk 脚本处理score.txt 文件呢?

命令如下:

awk -f cal.awk score.txt // -f 后跟awk脚本文件名 // 最后跟要处理的文件名即可

执行结果如下:

cal.awk 脚本执行结果

看到了吧,awk 语言真的强大,可以做变量的保存,分支流程控制,加减乘除计算,格式化输入输出等,它就是一门小型的完备的编程语言。

好的,下面我们来细致的介绍一下awk 的语法和脚本的含义。

我们以每行注释的形式解释一下上面的代码。

#!/bin/awk -f // 说明是awk脚本,用awk -f 解释的文本 #before running BEGIN { math = 0 english = 0 computer = 0 printf "Name No. Math English Computer Total\n" printf "--------------------------------------------------\n" } /* 1. BEGIN 包裹的部分,整个 awk处理流程中只会执行一次, 就是在程序开始执行时, 2. 在BEGIN中,我们做了一些 初始化操作,定义了 math, english, computer 这三个 变量的值。 3. 并打印了格式化头的内容 注意awk 的printf 语法没有 括号其它的跟shell的printf 基本一致,也跟c语言的差不 多 */ #running main // 这是注释 { math += $3 english += $4 computer += $5 printf "%-6s %-6s %4d %8d %8d %8d\n", $1,$2,$3,$4,$5,$3+$4+$5 } /* 这个大括号里的内容,我们讲过, awk是以行为粒度进行文本处理 的,所有这个大括号内的内容, 每处理一行,就会调用一次 有多少行文本内容待处理, 就会调用多少次,相当于 一个隐式的for 循环,循环 次数是行数 在这里,我们进行了变量 的递增处理 $1--$5 代表的每一列的数据 awk中默认使用FS= 空格 来进行分列。 score.txt 的内容按照空格 可以分为五列 因此入参$1 - $5 分别代表 某一特定行的某一特定列 的内容 */ #after running END { printf "--------------------------------------------------\n" printf "Total:%10d %8d %8d \n", math, english, computer printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR } /* 最后是END 括起来的部分, 只会在最终处理完成后, 执行收尾工作,仅执行一次 在此,我们打印了变量的汇总 结果 其中NR 是awk 的内置变量, 代表总行数 math/NR 即为数学成绩的 平均值 其它同理 */

好了,以上就是我们通过注释的形式,解释了一下上面的脚本各个部分的含义,相信大家仔细阅读我写的注释部分,一定会对awk 脚本命令有个初步的了解,至少在awk 脚本执行分为几个部分,每个部分的执行特征, 一些简单的awk 内置变量,变量的定义和使用,格式化输出等方面有个初步的了解。

鉴于这篇文章已经过长了,信息量有点大了,我们的awk命令讲解将再有一期下期,详细介绍awk 内置的其它变量和awk 的流程控制语句以及再linux 脚本中,我们结合top ,ls 等命令查到的结果如何经过awk 进行进一步加工处理等内容。

欲看后事如何,请听下回分解。。。如果你觉得我写的还行的话,别忘了关注哟。

picture loss