Инструкция, или код операции awk состоит из шаблона (pattern) и связанной с ним процедуры (action), причем количество инструкций в сценарии awk может быть очень велико. 

• • Pattern (шаблон) — Шаблонная часть уточняет, когда следует выполнять инструкцию либо к каким входным данным она должна применяться, можно сказать что это "устоявшаяся" конструкция при помощи которой фильтруется выходной поток. Шаблоном может служить любая условная или составная конструкция, или регулярное выражение. 

  • Action (процедура) — Процедура определяет порядок обработки данных, состоит из последовательности операторов, разделённых точкой с запятой (;), символом перевода строки или закрывающейся скобкой.

шаблон {процедура}, или  шаблон — когда выводятся строки с данным шаблоном, или  {процедура} — когда действие выполняется для всех строк.           The Structure of an AWK Program — ст.14

PS: Возможно не будет не правдой сказать, что понятие "pattern - шаблон" восходит ко временам формирования языков и на том этапе основным средством обработки текстов или потоков были регулярные выражения(по сути им и остаются), которые представляют собой набор шаблонов, состоящих как из специальных, так и обычных символов, поэтому понятие "шаблон" и "рег. выражение" близки между собой.

Отображение отдельных полей всех записей

Предположим, требуется отобразить на экране только имена спортсменов и названия поясов, которыми они обладают. Соответствующие данные хранятся в полях $1 и $4, поэтому введем такую команду:

$ ~ awk '{print $1, $4}' grade.txt

M.Tansley Green

N.Lulu green

O.Bunny Yellow

P.Troll Brown-3

Q.Tansley Brown-2

LAN IP:

$ ifconfig | grep broadcast | awk '{print $2}'

172.16.193.1

172.16.11.1

192.168.1.201

$ ip a s wlan0 | awk -F'[/ ]+' '/inet[^6]/{print $3}'

192.168.1.201

Или так:

$ ifconfig | awk '/inet / {sub(/addr:/, "", $2); print $2}' 

127.0.0.1

192.168.228.1

172.16.22.1

192.168.1.8

Или так (только IP):

$ hostname -I | awk '{print $1}'

192.168.1.12

Узнать внешний IP-адрес маршрутизатора, можно с помощью "майора Хайдена" командой:

$ wget -O - -q icanhazip.com

$ curl -s icanhazip.com

*** The original icanhazip.com lives on, but the other services are going offline.😢(28.07.22)

Другой вариант узнать внешний адрес;

$ curl -s 'http://checkip.dyndns.org' | sed 's/.*Current IP Address: \([0-9\.]*\).*/\1/g' 

178.66.176.70

Напечатать nickname wireless:

$ nmcli -g name,type connection show --active | awk -F: '/ethernet|wireless/ { print $1 }'

myname

DF:

# df / | awk '{print $1}' | grep dev | xargs tune2fs -l | grep create

Filesystem created:       Thu Dec  7 16:52:00 2017

Найти роутер:

$ awk 'NR==2 {print $1}' /proc/net/arp

192.168.1.1

Так то же неплохо:

$ /sbin/route -n | grep "^0\.0\.0\.0" | awk '{ print $2 }' 

192.168.1.1

И так хорошо:

$ netstat -nr | awk 'BEGIN {while ($3!="0.0.0.0") getline; print $2}' 

192.168.1.1

Распечатайте свои mac адреса:

$ ifconfig -a | sed '/eth\|wl/!d;s/ Link.*HWaddr//'

ether d4:be:d9:5a:b0:3b  txqueuelen 1000  (Ethernet)

ether 00:50:56:c0:00:01  txqueuelen 1000  (Ethernet)

ether 00:50:56:c0:00:08  txqueuelen 1000  (Ethernet)

wlp8s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  

mtu 1500

ether 68:5d:43:eb:05:0a  txqueuelen 1000  (Ethernet)

Функция:

lsmac() { ifconfig -a | sed '/eth\|wl/!d;s/ Link.*HWaddr//' ; }

Разделы использующие более 50%(или сколько надо) дискового пространства:

$ df -h |awk '{a=$5;gsub(/%/,"",a);if(a > 50){print $0}}' 

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda10       77G   61G   12G  85% /Data

/dev/sda5       124G  106G   12G  90% /Share

Default gateway:

$ ip route | awk '/default/{print $3}'

192.168.1.1

Когда установлена ОСь.

$ ls -lct /etc/ | tail -1 | awk '{print $6, $7, $8}'

Dec 7 2017

$ ls -ldct /lost+found | awk '{print $6, $7, $8}'

Dec 7 2017

Название дистрибютива:

$ cat /etc/issue 

Debian GNU/Linux 12 \n \l

Лучше так:

$ lsb_release -a 

No LSB modules are available.

Distributor ID: Debian

Description: Debian GNU/Linux 12 (bookworm)

Release: 12

Codename: bookworm

Количество свободной памяти:

$ grep '^MemFree:' /proc/meminfo | awk '{ mem=($2)/(1024) ; printf "%0.0f MB\n", mem }'

1062 MB

$ free -m | awk '/Mem/ {print $4}'

1056

$ 

Найти самый новый файл в каталоге:

$ find ~/ -type f -printf "%T@|%p\n" 2>/dev/null | sort -n | tail -n 1| awk -F\| '{print $2}'

/home/user/.config/chromium/Profile 3/History-journal

Вывести используемый интерфейс:

$ ip addr | awk '/state UP/ {print $2}' | sed 's/.$//' 

wlp8s0

или:

$ route | grep -m1 ^default | awk '{print $NF}'

wlp8s0

Распечатать все интерфейсы:

$ awk '{print $1}' /proc/net/dev|grep :|sed "s/:.*//g"

lo

enp7s0

wlp8s0

vmnet1

vmnet8

Alias — hostname & ip

$ alias me="echo '`ifconfig | grep inet | grep broadcast | awk '{print $2}'`' && uname -n"

$ me

10.0.3.1

192.168.228.1

172.16.22.1

192.168.1.9

cranchbang

Обработка сообщений об ошибках

При работе с утилитой awk почти невозможно избежать синтаксических ошибок. Эта утилита выводит на экран искомую строку и указывает, в каком ее месте возникла ошибка. Но сами сообщения об ошибках не слишком информативны и не всегда могут помочь в разрешении проблем. Давайте смоделируем ситуацию, при которой возникает синтаксическая ошибка, например, пропустим двойную кавычку в предыдущей команде:

$ ~ awk 'BEGIN {print "Name\n---------------- "} {print $1} \

> END {print "\end-of-report}' grade.txt

awk: cmd. line:2: END {print "\end-of-report}

awk: cmd. line:2: ^ unterminated string

awk: cmd. line:2: END {print "\end-of-report}

awk: cmd. line:2: ^ syntax error

$ ~

Впервые сталкиваясь с утилитой awk, краткость подобных сообщений безусловно смущает. Предлагаем вам перечень правил обнаружения ошибок: 

• убедитесь, что сценарий awk целиком заключен в одинарные кавычки; 

• удостоверьтесь, что все кавычки внутри сценария являются парными; 

• проверьте, заключены ли процедуры в фигурные скобки, а условные конструкции - в круглые скобки.

Более понятным является сообщение об ошибке, возникающей при создании ссылки на несуществующий файл:

$ ~ awk 'END {print "End‑of‑report"}' grades.txt

awk: fatal: cannot open file `grades.txt' for reading (Нет такого файла или каталога)

$ ~

Ввод данных с клавиатуры 

 Давайте посмотрим, что произойдет, если не указать файл grade.txt в командной строке:

 $ ~ awk 'BEGIN {print "Name Belt\n----------------------- "} \

> {print $1" \t"$4}'

Name Belt

-----------------------

>

^C

$ ~

С помощью шаблона BEGIN на экран выводится заголовок отчета, при этом сам отчет пуст, а утилита awk ожидает получения входных данных с клавиатуры (об этом свидетельствует строка приглашения >). Вы должны ввести их вручную. После нажатия клавиши [Enter] введенная строка интерпретируется как входная запись и по отношению к ней выполняются соответствующие инструкции. По завершении ввода данных нажмите [Ctrl+D]. Подобный метод работы применяется довольно редко, поскольку чреват большим количеством опечаток и ошибок.

$ awk 'BEGIN {print "Name Belt\n----- "} {print $1" \t"$4}'

Name Belt

-----

^C

$ 

Оператор логического И  &&

Предположим, перед нами поставлена задача выяснить, кому был присвоен зеленый пояс в мае 1999 года. Строки, отвечающие этому условию, должны в первом поле содержать значение "05/99", а во втором — "Green":

$ ~ awk '{if($2 == "05/99" && $4 == "Green") print $0}' grade.txt

M.Tansley 05/99 48311 Green 8 40 44

$ ~

Оператор логического ИЛИ  || 

Чтобы получить список учеников, обладающих желтым или коричневым поясом, воспользуйтесь оператором | |:

 $ ~ awk '{if($4 == "Yellow" || $4 ~ /Brown/) print $0}' grade.txt

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26

Q.Tansley 05/99 4712 Brown-2 12 30 28

$ ~

Приведенную команду можно упростить с помощью метасимвола, означающего выбор любого из двух шаблонов:

$ ~ awk '$4 ~ /Yellow|Brown/' grade.txt

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26

Q.Tansley 05/99 4712 Brown-2 12 30 28

$ ~

Проверка значения поля

В следующем примере мы проверим, кто из учеников набрал в соревнованиях менее 27 очков. В первом варианте команды значение поля $6 непосредственно сравнивается с числом 27:

$ ~ awk '$6 < 27' grade.txt

N.Lulu 06/99 48317 green 9 24 26

P.Troll 07/99 4842 Brown-3 12 26 26

$ ~

Более универсальный способ заключается в том, чтобы перед обработкой входного файла, в процедурной части шаблона BEGIN, создать, как в настоящей программе, набор локальных переменных с нужными значениями и ссылаться на них, когда потребуется. Конечно, этот прием неэффективен в случае одноразовых команд, зато очень полезен в больших сценариях, так как позволяет легко вносить в них изменения. Во втором примере мы создадим переменную baseline и присвоим ей значение 27, а затем сравним с ней интересующее нас поле $6:

$ ~ awk 'BEGIN {BASELINE=27} {if ($6 < BASELINE) print $0}' grade.txt

N.Lulu 06/99 48317 green 9 24 26

P.Troll 07/99 4842 Brown-3 12 26 26

$ ~

Изменение значения числового поля 

Изменяя значение поля, следует помнить о том, что содержимое входного файла на самом деле не меняется. Изменению подвергается только копия файла, которая хранится в буфере awk.

В следующем примере на экран выводятся имена учеников и их рейтинговые очки, а рейтинг ученика по имени M. Tansley уменьшается на единицу:

$ ~ awk '{if($1=="M.Tansley") $6=$6-1; print $1, $6}' grade.txt

M.Tansley 39

N.Lulu 24

O.Bunny 35

P.Troll 26

Q.Tansley 30

$ ~

Суммирование столбцов 

Для вычисления суммарного рейтинга учеников секции мы создадим переменную tot и с помощью выражения tot+=$6 будем прибавлять к ней значение поля $6 при обработке каждой записи. По завершении обработки записей в процедурной части шаблона END итоговое значение переменной tot будет выведено на экран.

$ ~ awk 'tot+=$6; END {print "Club student total points: " tot}' grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26

Q.Tansley 05/99 4712 Brown-2 12 30 28

Club student total points: 155

$ ~

Вероятно, вы заметили, что утилите awk не было дано указание выводить на экран все записи oна сделала это сама. Причина такого поведения заключается в том, что выражение tot+=$6 относится к шаблонной части инструкции и не задает критерия отбора строк, т.е. применяется ко всем записям. А поскольку процедурная часть этого шаблона отсутствует, выполняется действие по умолчанию — команда print SO.

Если файл велик, можно не выводить на экран все записи, а лишь отобразить итог. Для этого достаточно взять выражение tot+=$6 в фигурные скобки, чтобы перенести его в процедурную часть инструкции:

$ ~ awk '{tot+=$6}; END {print "Club student total points: " tot}' grade.txt

Club student total points: 155

$ ~

Счетчик пользовательских процессов:

$ ps aux |awk '{$1} {++P[$1]} END {for(a in P) if (a !="USER") print a,P[a]}'

message+ 1

rtkit 1

colord 1

dell 97

polkitd 1

www-data 6

root 164

$ ps hax -o user --sort user | uniq -c

      1 colord

     98 dell

      1 messagebus

      1 polkitd

    164 root

      1 rtkit

      6 www-data

Найти все файлы размером более 10 МБ, отсортировать в порядке убывания размера:

# find . -size +10240k -exec ls -l {} \; | awk '{ print $5,"",$9 }'|sort -rn

548382816  ./VMware-Workstation-Full-16.0.0/VMware-Workstation-Full-16.2.3-19376536.x86_64.bundle

538839908  ./VMware/VMware-Workstation-Full-17.0.0-20800274.x86_64.bundle

536072059  ./VMware/VMware_15.5/VMware-Workstation-Full-15.5.2-15785246.x86_64.bundle

527417929  ./VMware/VMware-Workstation-Full-16.1.2-17966106.x86_64.bundle

Показать разделы, которые используются более чем на 70%

# df -h |awk '{a=$5;gsub(/%/,"",a);if(a > 70){print $0}}'

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda7        38G   34G  2.2G  94% /

/dev/sda6       124G  109G  9.3G  93% /Data

Показать количество сетевых карт, портов на каждую сетевую карту и адрес PCI:

$ lspci | grep Ether | awk '{ VAR=$1; split(VAR,ARR,"."); count[ARR[1]]++; LINE=$0; split(LINE,LINEARR,":"); LINECOUNT[ARR[1]]=LINEARR[3]; } END { for(i in count) { printf("PCI address: %s\nPorts: %d\nCard Type: %s\n", i, count[i], LINECOUNT[i]) } }'

PCI address: 07:00

Ports: 1

Card Type:  Realtek Semiconductor Co., Ltd. RTL810xE PCI Express Fast Ethernet controller (rev 05)

Функция gsub()

Благодаря функции gsub() вы сможете выполнить в текущей записи глобальную замену строк, соответствующих заданному регулярному выражению. Например, для изменения номера ученика с 4842 на 4899 введите такую команду:

$ ~ awk 'gsub(4842,4899) {print $0}' grade.txt

P.Troll 07/99 4899 Brown-3 12 26 26

$ ~

Функция index()

Чтобы узнать позицию первого вхождения подстроки t в строку s, воспользуйтесь функцией index (), только не забудьте взять ее аргументы в двойные кавычки, иначе они будут восприниматься как имена переменных среды. Например, следующая команда возвращает число, определяющее позицию подстроки "ny" в строке "Bunny":

$ ~ awk 'BEGIN {print index("Bunny","ny")}' grade.txt

4

$ ~

Функция length() 

Функция length() возвращает длину переданного ей текстового аргумента. В показанном ниже примере производится поиск информации об ученике с номером 4842, а затем определяется длина имени ученика:

$ ~ awk '$3==4842 {print length($1)" "$1}' grade.txt

7 P.Troll

$ ~

Следующая команда демонстрирует применение утилиты awk для вычисления длины текстовой строки:

$ ~ awk 'BEGIN {print length("A FEW GOOD MEN")}'

14

$ ~

Функция match()

Функция match() позволяет проверить, содержит ли строка заданную подстроку. Последняя может быть представлена как литералом в двойных кавычках, так и регулярным выражением. Если поиск прошел успешно, возвращается число, определяющее позицию, с которой начинается вхождение подстроки в искомую строку. В случае неудачи возвращается ноль. Следующая команда проверяет, содержит ли имя ученика с номером 48317 символ 'u':

$ ~ awk '$3==48317 {print match ($1, "u"), $1} ' grade.txt

4 N.Lulu

$ ~

Функция split()

Функция split() преобразует переданную ей строку в массив и возвращает число элементов в полученном массиве. В следующем примере заданная строка разбивается на три элемента, которые помещаются в массив myarray. Разделителем элементов в данном случае является символ '#'.

$ ~ awk 'BEGIN {print split("123#456#678", myarray,"#")}'

3

$ ~

Массив myarray будет иметь такую структуру:

mуarray[1]="123" 

myarray[2]="456"

myarray[3]="678"

Функция sub()

Функция sub() применяется для поиска строки, соответствующей заданному шаблону, и ее замены при первом появлении. В этом состоит отличие данной функции от функции gsub(), которая находит все случаи вхождения подстроки в строку, производя соответствующее число замен. Приведенная ниже команда находит запись ученика P. Troll и меняет его рейтинг с 26 на 29 (поле 6), при этом значение поля 7 (тоже 26) остается неизменным:

$ ~ awk '$1=="P.Troll" {sub(26,29,$0)} {print $0}' grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 29 26

Q.Tansley 05/99 4712 Brown-2 12 30 28

Исключить строку:

$ awk '{sub("O.Bunny","")}1' grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26O

Q.Tansley 05/99 4712 Brown-2 12 30 28

Вернуть:

$ awk '$1=="O.Bunny" {print substr($1,1,7)}1' grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

O.Bunny

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26O

Q.Tansley 05/99 4712 Brown-2 12 30 28

Зачем нужен символ "1" в конце инструкции?: awk оценивает "1" как истину и по умолчанию печатает всю строку, включая новую строку.

$ echo 'foo' | awk '/foo/{print}1'

foo

foo

Преобразование символов

Чтобы узнать, ASCII–код какого символа равен 65, можно с помощью команды echo направить строку "65" утилите awk и затем передать ее в качестве аргумента команде printf со спецификатором %с. Команда printf выполнит преобразование автоматически:

$ ~ echo "65" | awk '{printf "%c\n", $0}'

A

$ ~

Как видите, это символ 'A'. Обратите внимание на наличие в команде символа новой строки (\n). Необходимость в нем объясняется тем, что команда printf по умолчанию не записывает этот символ в выходной поток. Если не указать Escape–последовательность \n, сразу после буквы 'А' в той же строке будет отображено приглашение интерпретатора shell, что может смутить пользователя, работающего в данный момент за терминалом. Конечно, код символа может быть указан непосредственно в команде printf:

$ ~ awk 'BEGIN {printf "%c\n", 65}'

A

$ ~ awk 'BEGIN {printf "%c\n", 66}'

B

$ ~ awk 'BEGIN {printf "%c\n", 67}'

C

$ ~

От десятичного:

$ awk 'BEGIN {printf "%c\n", 33}'

!

$ awk 'BEGIN {printf "%c\n", 36}'

$

$ awk 'BEGIN {printf "%c\n", 37}'

%

От "hex"

$ awk 'BEGIN {print "\x21"}'

!

$ awk 'BEGIN {print "\x24"}'

$

$ awk 'BEGIN {print "\x25"}'

%

От восьмиричного:

$ awk 'BEGIN {print "\041"}'

!

$ awk 'BEGIN {print "\044"}'

$

$ awk 'BEGIN {print "\045"}'

%

Форматированный вывод

Предположим, необходимо отобразить имена учеников и их идентификаторы, причем имена должны быть выровнены по левому краю и размещаться в поле длиной 15 символов. В конце строки форматирования стоит символ новой строки (\n), служащий для разделения записей. Выводимые данные будут размещаться в двух колонках:

$ ~ awk '{printf "%-15s %d\n", $1, $3}' grade.txt

M.Tansley       48311

N.Lulu          48317

O.Bunny         48

P.Troll         4842

Q.Tansley       4712

$ ~

Передача переменных утилите awk

Переменные можно создавать не только в сценарии awk, но и непосредственно в командной строке. Формат вызова утилиты awk в этом случае таков:

awk 'сценарий' переменная=значение входной_файл

В следующем примере переменная AGE создается в командной строке и инициализируется значением 10. Показанная команда находит студентов, возраст которых не превышает 10 лет.

$ ~ awk '{if($5 < AGE) print $0}' AGE=10 grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

$ ~

Использование переменной FS в сценариях awk

Если просматривается файл, в котором разделителем полей является символ, отличный от пробела, например '#' или ':', это легко учесть, указав в командной строке опцию ' -F:'

$ awk -F: '{print $0}' входной_файл

Аналогичную функцию выполняет переменная FS, которую можно установить непосредственно в сценарии. Следующий сценарий обрабатывает файл /etc/passwd, выводя на экран содержимое первого и пятого полей, включающих соответственно имя пользователя и описание роли пользователя в системе. Поля в этом файле разделены символом двоеточия, поэтому в процедурной части шаблона begin устанавливается переменная FS, значение которой заключается в двойные кавычки:

$ ~ cat > passwd.awk

#!/usr/bin/awk -f

# Имя файла: student_tot.awk

# Командная строка: passwd.awk /etc/passwd

# Вывод содержимого первого и пятого полей файла passwd.

BEGIN {

FS=":" 

}

{print $1"\t"$5}

^C

$ ~

$ ~ chmod 744 passwd.awk (chmod +x passwd.awk)

$ ~

Вот возможные результаты работы этого сценария:

$ ~ ./passwd.awk /etc/passwd

root    root

bin     bin

daemon  daemon

mail    mail

ftp     ftp

http    http

uuidd   uuidd

dbus    dbus

nobody  nobody

................

...............

$ ~

Передача переменных сценариям awk 

При передаче переменной сценарию awk формат командной строки таков:

awk файл_сценария переменная=значение входной_файл

Следующий небольшой сценарий сравнивает количество полей в каждой записи входного файла с заданным в командной строке значением. Текущее количество полей хранится в переменной NF. Сравниваемое значение передается сценарию в виде переменной МАХ.

$ cat > fieldcheck.awk

#!/usr/bin/awk -f

#Имя файла: fieldcheck.awk

#Командная строка: fieldcheck.awk MAX=n [FS=<разделитель>] имя_файла

#Проверка числа полей в записях файла.

NF!=MAX{

print("line " NR " does not have " MAX " fields")}

$ ~ chmod +x fieldcheck.awk

Файл /etc/passwd, содержит семь полей с разделителем ":", указав другое значение получим  ("line " NR " does not have " MAX " fields"):

$ ./fieldcheck.awk MAX=7 FS=":" /etc/passwd

$

$ ./fieldcheck.awk MAX=6 FS=":" /etc/passwd

line 1 does not have 6 fields

line 2 does not have 6 fields

line 3 does not have 6 fields

........................

line 61 does not have 6 fields

line 62 does not have 6 fields

$ 

Следующий сценарий выводит информацию об учениках, чей возраст ниже значения, заданного в командной строке:

cat > age.awk

#!/usr/bin/awk -f

# Имя файла: age.awk

# Командная строка: age.awk AGE=n grade.txt

# Вывод информации об учениках, чей возраст ниже заданного,

{if($5 < AGE) print $0}

^C

$ ~ chmod +x age.awk

$ ~ ./age.awk AGE=10 grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

$ ~