Awk — a pattern scanning and processing language 

                                 SED — Stream EDitor

Задачи обработки-фильтрации текста естественным и логичным образом являются приоритетными для администрирования *nix систем, кроме семейства команд обработки текста типа: grep, sort, tsort, uniq, past, join, tail и многих других, владение утилитами обработки текста как SED и AWK, необходимое условие профессионализма сисадминистратора, при помощи этих гибких и эффективных инструментов возможно создание как сложных скриптов так и однострочных команд (expressions) по не интерактивному редактированию проходящему через них потоку текста.   https://vds-admin.ru/sed-and-awk 

 SED: Stream EDitor — потоковый текстовый редактор как и AWK с полным на то основанием можно называть языком программирования, не интерактивный, построчный редактор текстовых файлов потокового типа, Sed получает входной поток данных или файл построчно, редактирует каждую строку согласно правилам, определённым в sed-скрипте, и затем выводит результат, текст принимается либо с устройства stdin, либо из текстового файла, после чего выполняются заданные операции над строками и выводится результат на устройство stdout или в файл. Резюмируя можно привести выдержку из отличной книги "Девид Тейнсли Linux и Unix Програмирование в Shell": Linux и UNIX: программирование в shell. Руководство разработчика.fb2 

"Отличительной особенностью редактора sed является то, что он позволяет модифицировать файлы в фоновом режиме. Задача пользователя сводится к тому, чтобы задать последовательность команд редактирования, а всю остальную работу выполнит сам редактор. Кроме того, sed допускает внесение всех изменений за один проход, а это превращает его в достаточно эффективный и, что важнее всего, быстродействующий инструмент редактирования текста, быстродействие достигается в следствии нескольких особенностей редактора, первая то, что он работает с "потоками" по сути средствами ядра операционной системы(и здесь надо вернуться  к понятию "поток"),

вторая это инвертированность(перевернутость) по отношению к тексту и набору команд редактирования, sed вначале загружает в себя набор команд, а затем применяет весь набор команд к каждой строке текста и по скольку одновременно в памяти находится только одна строка, sed может обрабатывать "произвольно большие" текстовые файлы — данные

AWK:  Язык обработки шаблонов с C-подобным синтаксисом, утилита AWK с полным на то основанием считается наиболее "продвинутым" средством по формированию отчетов и извлечению информации из больших текстовых файлов, что и неудивительно поскольку говоря про AWK на самом деле придется говорить не об одной из многочисленных утилит *nix систем, а о совершенно самостоятельном языке программирования, языке AWK, в чем собственно и скрывается не которая трудность в его или ее изучении. Примеров использования, шаблонов, скриптов, как и областей применения громадное множество, ниже, в большом количестве приводятся выдержки, цитаты и скрипты из выше упомянутой великолепной книги Дэвида Тейнсли, в книге сделан акцент на умение создавать эффективные одно-строчные команды и небольшие сценарии, выполняющие фильтрацию текстовых файлов по средствам AWK и SED, как раз то, что и необходимо в текущей работе по администрированию *nix систем.         

http://www.commandlinefu.com/commands/using/awk  — это место, где можно записать те жемчужины командной строки, к которым вы возвращаетесь снова и снова.

http://linuxgeeks.ru/awk.htm

http://www.lissyara.su/doc/programming/awk/      <<------------

http://citforum.ru/operating_systems/unixuser/gl10_1.shtml

https://www.opennet.ru/docs/RUS/bash_scripting

https://www.opennet.ru/base/dev/sed1line.txt.html   <<-----------Полезные одно-строчные скрипты sed

http://dbserv.pnpi.spb.ru/~shevel/Book/node67.html    <<------------

https://life-prog.ru/MAN AWK.html 

"Девид Тейнсли Linux и Unix Програмирование в Shell"    <<--------- PDF

"Девид Тейнсли Linux и Unix ........"         <<--------PDF (другой вариант, местами исправленный)

Aho — Kernighan — Weinberger:  "The AWK Programming Language"   <<--------- "первоисточник"

Уроки по Awk    <<--------------

AWK

Название утилиты AWK составлено из начальных букв фамилий разработчиков языка: Ахо (Aho), Вайнбергера (Weinberger) и Кернигана (Kernighan). Существуют также утилиты nawk и gawk, обладающие усовершенствованными возможностями обработки текста. Вызов утилиты awk возможен тремя способами:

• Первый заключается в передаче ей требуемых команд непосредственно в командной строке:  

awk [-F разделитель_полей] 'сценарий' входной_файл…

В одинарных кавычках (про которые ясно дело не стоит забывать) указывается список инструкций языка awk. Задавать разделитель полей с помощью опции -F не обязательно, так как по умолчанию утилита awk использует для этих целей пробел, и конечно при условии что в фильтруемом источнике

так-же использован пробел. Но, например, в файле /etc/passwd поля отделяются друг от друга двоеточием и в этом случае вызов утилиты выглядит так:

awk -F: 'сценарий' входной_файл…

• Второй способ вызова утилиты awk состоит в создании отдельного файла сценария, содержащего список инструкций awk. При этом утилита awk указывается в первой строке сценария в качестве интерпретатора команд. Созданный файл делается исполняемым и может быть вызван из командной строки.

• Третий способ, способ когда все инструкции awk помещаются в отдельный файл, после чего осуществляется вызов этого файла:

awk -f файл_сценария входной_файл…

Опция -f свидетельствует о том, что инструкции awk содержатся в файле сценария. Утилита анализирует информацию, содержащуюся в одном или нескольких входных файлах.  

Если никакой шаблон не указан, процедура выполняется для каждой записи из входного файла. {Тело процедуры заключается в фигурные скобки}. Чаще всего процедура осуществляет вывод информации на экран, но она может также содержать операторы присваивания, управляющие конструкции и встроенные функции. Если процедура не задана, утилита awk выводит на экран все содержимое записи, соответствующей шаблону.

Поля и записи

На поля текущей записи можно ссылаться следующим образом: $1, $2… $n. Этот метод называется идентификацией полей. Подобная схема обозначений значительно облегчает работу с полями. Например, в качестве ссылки на первое и третье поля достаточно указать:

    $1, $3

Обратите внимание на то, что идентификаторы полей разделяются запятой. Чтобы сослаться на все поля записи, содержащей пять полей, можно указать:

    $1, $2, $3, $4, $5

Однако проще воспользоваться идентификатором $0, который служит для обозначения всех полей текущей записи.

Когда в процессе просмотра утилита awk встречает символ новой строки, считается, что найден конец записи, после чего выполняется переход к новой строке, анализ новой записи и инициализация полей. Чтобы вывести на экран содержимое записи, в теле процедуры задается команда print со списком нужных полей.

Тестовый файл

AWK как и SED прежде всего "потоковые" редакторы, но для практическо-наглядной части, создадим файл например "grade.txt", на котором и будет основано большинство примеров. Файл этот должен содержать несколько записей из локальной базы данных секции каратистов (таков выбор m.Teynsli).

Сохранение выходных данных

Напомним, что существует два способа, позволяющих сохранить результаты работы утилиты awk. Первый, более простой, способ состоит в том, чтобы перенаправить выходной поток в требуемый файл, при этом выходные данные не будут отображаться на экране:

 $ awk '{print $0}' grade.txt > grade.out

Второй способ заключается в применении команды tee - тройник. Выходные данные передаются в файл и одновременно отображаются на экране. Например:

$ awk '{print $0}' grade.txt | tee grade.out

Метасимволы

Если коротко о регулярных выражениях, неизбежном атрибуте любого языка, то: в сценарии awk регулярное выражение выделяется с обеих сторон символами косой черты: /регулярное_выражение/. Например, если в текстовом файле нужно найти строку, содержащую слово "Green", следует задать шаблон /Green/. Перечисленные метасимволы могут встречаться в регулярных выражениях утилиты awk:  \ ^ $ . [ ] | ( ) * + ?

Следует остановиться на описании двух метасимволов, которые специфичны для awk и не применяются в команде grep и редакторе sed.

+     Указывает на то, что предыдущий символ встречается один или несколько раз. Например: 

выражение /t+/ соответствует одной или нескольким буквам 't', а 

выражение /[а–z]+/ — любой последовательности строчных букв.

?     Указывает на то, что предыдущий символ встречается не более одного раза. Например:                            

выражение /xy?z/ соответствует строкам "XYZ" и "XZ".

Стоит так-же обратить внимание на использование прямого и обратного слеша, в зависимости от цели.

Проверка на совпадение

Оператор ~ (тильда) позволяет находить поля, соответствующие заданному шаблону (регулярному выражению). Обычно он применяется в конструкции if, условная часть которой заключается в круглые скобки.

Операторы присваивания и арифметические операторы

С помощью операторов присваивания и арифметических операторов можно создавать в сценариях awk локальные переменные и манипулировать их значениями.

 Создание локальных переменных

При разработке сценариев awk не всегда удобно работать с идентификаторами полей. Лучше создать переменную, содержащую значение поля, и присвоить ей выразительное имя, чтобы в дальнейшем ссылаться на поле по имени. Подобную переменную можно получить с помощью конструкции следующего вида:  имя_переменной = $n   где n -cуществующий номер поля.

В следующем примере мы создадим две переменные: name, содержащую имена учеников (поле 1), и belts, содержащую названия поясов (поле 4). Затем будет произведен поиск учеников, обладающих желтым поясом.

$ ~ awk '{name=$1; belts=$4; if(belts ~ /Yellow/) print name " is belt " belts}' grade.txt

O.Bunny is belt Yellow

$ ~

Обратите внимание на то, что команды сценария отделяются друг от друга точкой с запятой.

 Создание нового поля

Аналогично локальным переменным в сценарии awk можно создавать новые поля. Например, мы можем создать поле $8, содержащее разницу полей $6 и $7 в том случае, если значение в поле $7 больше, чем в поле $6:

$ ~ awk 'BEGIN {print "Name\t\tDifference"} {if($6 < $7) {$8=$7-$6; print $1" \t"$8}}' grade.txt

Name            Difference

M.Tansley       4

N.Lulu  2

$ ~

Функция substr()

Функция substr() возвращает указанную часть строки. Вам нужно задать позицию, с которой начинается вхождение подстроки в искомую строку, и длину подстроки. Рассмотрим пример:

$ ~ awk '$1=="M.Tansley" {print substr($1,1,5)}' grade.txt

M.Tan

$ ~

Эта команда возвращает из строки "M. Tansley" подстроку, начинающуюся с первого символа и занимающую пять символов.

Если значение третьего аргумента значительно превышает реальную длину строки, функция substr () возвращает все символы строки, начиная с указанной позиции:

$ ~ awk '$1=="M.Tansley" {print substr ($1,3, 99)} ' grade.txt

Tansley

$ ~

То же самое происходит, когда третий аргумент вообще не указан. Например, следующая команда формирует список фамилий учеников:

$ ~ awk '{print substr($1,3)}' grade.txt

Tansley

Lulu

Bunny

Troll

Tansley

$ ~

Awk/example/substring-extraction 

Обратно, воспользовавшись ord:

$ echo "!" | awk 'BEGIN{for(n=0;n<256;n++)ord[sprintf("%c",n)]=n}{print ord[$1]}'

33

$ echo "$" | awk 'BEGIN{for(n=0;n<256;n++)ord[sprintf("%c",n)]=n}{print ord[$1]}'

36

$ echo "%" | awk 'BEGIN{for(n=0;n<256;n++)ord[sprintf("%c",n)]=n}{print ord[$1]}'

37

Используя printf (форматированный вывод), аналог одноименной функции языка С в Linux это встроенная команда оболочки:

$ type -a printf

printf is a shell builtin

printf is /usr/bin/printf

$ 

$ printf "%d\n"  "'!"

33 # десятичное

$ printf "%o\n"  "'!"

41 # восьмиричное

$ printf "%x\n"  "'!"

21 # "hex"

Вот еще один пример. Команда who выводит сведения о пользователях, зарегистрировавшихся в системе. В первом столбце выходных данных этой команды отображаются регистрационные имена пользователей, а во втором — имена терминалов, к которым подключены эти пользователи. С помощью утилиты awk вы можете отфильтровать результаты работы команды who и узнать к какому терминалу подключены: ,

$ ~  who

iarch    tty1         2017-05-07 13:49

iarch    pts/0        2017-05-08 15:20 (192.168.1.100)

$ ~  who | awk '{if($1==user) print $1 " you are connected to " $2}' user=$LOGNAME

iarch you are connected to tty1

iarch you are connected to pts/0

$ ~

Здесь локальная переменная user инициализируется значением переменой среды $LOGNAME, которая хранит регистрационное имя текущего пользователя.

Файлы сценариев

Если последовательность команд awk слишком велика, чтобы вводить ее в командной строке, или предназначена для многократного использования, целесообразно поместить ее в отдельный файл сценария. Преимуществом сценариев является также возможность добавления комментариев, благодаря которым вы сможете быстро вспомнить назначение той или иной программы. Давайте возьмем один из рассмотренных ранее примеров и преобразуем его в файл сценария awk. В частности, следующая, уже знакомая нам, команда подсчитывает суммарный рейтинг учеников секции:

$ ~ awk 'tot+=$6; END {print "Club student total points; " tot}' grade.txt

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26

Q.Tansley 05/99 4712 Brown-2 12 30 28

Club student total points; 155

$ ~

Создадим на ее основе файл, который назовем student_tot.awk. Расширение awk является общепринятым соглашением относительно именования файлов сценариев awk. Вот текст этого файла:

$ ~ cat > student_tot.awk

#!/bin/awk -f #Чаще #!/usr/bin/awk -f: $ type awk:  awk is /usr/bin/awk

#Все строки комментариев должны начинаться с символа '#'

#Имя файла: student_tot.awk

#Командная строка: student_tot.awk grade.txt

#Вычисление суммарного и среднего рейтинга учеников секции.

#Сначала выводим заголовок.

BEGIN {

print "Student Date Member   Grade Age Points Max"

print "Name joined                   Gained point available"

print "============================================="

}

# Суммируем рейтинг учеников.

(tot+=$6)

# В завершение выводим суммарный и средний рейтинг.

END {

print "Общий балл студенческого клуба:" tot

print "Средние баллы студенческого клуба:" tot/NR

}

^C

$ ~

В этом сценарии мы формируем заголовок отчета и вычисляем не только суммарный рейтинг, но и средний рейтинг учеников секции, который получается путем деления переменной tot на переменную NR, содержащую число записей во входном файле. Как видите, на языке awk можно писать полноценные программы, содержащие команды, комментарии, а также пустые строки и дополнительные пробелы, предназначенные для повышения удобочитаемости текста сценария.

Ключевым моментом сценария является первая строка, выглядящая как комментарий: #!/bin/awk -f

Это своеобразная системная инструкция с названием  shebang, указывающая, какая программа должна выполнять данный сценарий. Подобная инструкция должна быть первой строкой любого сценария. Шебанг  (shebang, sha-bang, hashbang, pound-bang, or hash-pling) — в программировании последовательность из двух символов: решётки и восклицательного знака ("#!") в начале файла скрипта. Общий ее формат таков: #!/путь/программа [командная_строка]

Когда происходит запуск исполняемого файла, система проверяет, начинается ли он с "магической" последовательности. Если нет, значит, файл содержит машинные коды и выполняется непосредственно. Если же обнаружено выражение #!, то это файл сценария. В таком случае происходит следующее:

• Первая строка сценария заменяет собой командную строку, из нее удаляется "магическая" последовательность;

• Предыдущая командная строка передается новой командной строке в качестве аргумента.

В нашем случае это означает, что при запуске сценария вместо команды

$ student_tot.awk grade.txt

в действительности выполняется такая команда:

$ /bin/awk -f student_tot.awk grade.txt

Опция -f утилиты awk говорит о том, что выполняемые команды находятся в указанном вслед за ней файле.

После создания файл student_tot.awk необходимо сделать его исполняемым с помощью команды

$ chmod +x student_tot.awk  или chmod 744 student_tot.awk

Ну и все остальное,....стоит добавить, что есть более "магическая" запись, это  ./ - точка слэш, позволяющая выполнение исполняемого файла из любой дирректории, не обращая внимание на переменую $PATH.

И вот результаты работы сценария:

$ ~ ./student_tot.awk grade.txt

Student Date Member   Grade Age Points Max

Name joined                    Gained point available

=============================================

M.Tansley 05/99 48311 Green 8 40 44

N.Lulu 06/99 48317 green 9 24 26

O.Bunny 02/99 48 Yellow 12 35 28

P.Troll 07/99 4842 Brown-3 12 26 26

Q.Tansley 05/99 4712 Brown-2 12 30 28

Общий балл студенческого клуба:155

Средние баллы студенческого клуба:31

$ ~

Массивы

Изучая функцию split(), мы говорили о том, каким образом ее можно использовать для преобразования строки символов в массив. Повторим соответствующий пример:

$ ~ awk 'BEGIN {print split("123#456#678", myarray, "#")}'

3

$ ~

Функция split() возвращает число элементов созданного массива myarray. Внутренняя структура массива myarray в этом случае такова:

myarray[1]="123"

myаrray[2]="456"

myarray[3]="678"

При работе с массивами в awk не требуется заранее их объявлять. Не нужно также указывать количество элементов массива. Для доступа к массиву обычно применяется цикл for, синтаксис которого следующий: for (элемент in массив) print массив[элемент]

В показанном ниже сценарии функция split() разбивает заданную строку на элементы и записывает их в массив myarray, а в цикле for содержимое массива выводится на экран:

$ ~ cat > arraytest.awk

#!/usr/bin/awk -f

#Имя файла: arraytest.awk

#Командная строка: arraytest.awk /dev/null

#Вывод элементов массива.

BEGIN {

record="l23#456#789";

split(record, myarray, "#") }

END {

for (i in myarray) print myarray[i]

}

^C

$ ~ chmod 744 arraytest.awk

$ ~ ./arraytest.awk /dev/null

l23

456

789

$ ~

Для запуска сценария в качестве входного файла следует указать устройство /dev/null. Если этого не сделать, утилита awk будет ожидать поступления данных с клавиатуры.

Статические массивы

В предыдущем примере массив формировался динамически. Следующий пример является более сложным и демонстрирует, как создавать в сценарии статические массивы. Ниже показан входной файл grade_student.txt, включающий информацию об учениках нашей секции каратистов. Записи файла содержат два поля: первое — название пояса, которым владеет ученик, второе — категория ученика (взрослый, юниор). Разделителем полей служит символ '#'.

$ ~ cat > grade_student.txt

Vellow#Junior

Orange#Senior

Yellow#Junior

Purple#Junior

Brown-2#Junior

White#Senior

Drange#Senior

Red#Junior

Brown-2#Senior

Yellow#Senior

Red#Junior

Blue#Senior

Green#Senior

Purple#Junior

White#Junior 

^C

$ ~

Наша задача заключается в том, чтобы прочитать файл и получить следующие сведения:

1.Сколько учеников имеют желтый, оранжевый и красный пояса?

2.Сколько взрослых и детей посещают секцию?

Рассмотрим такой сценарий:

$ ~ cat >belts.awk

#!/usr/bin/awk -f

#Имя файла: belts.awk

#Командная строка: belts.awk grade_student.txt

#Подсчет числа учеников, имеющих желтый, оранжевый и красный пояса,

#а также количества взрослых и юных членов секции.

# Задание разделителя и создание массивов.

BEGIN {FS="#"

# Создание массива, индексами которого являются названия поясов

belt["Yellow"]

belt["Orange"]

belt["Red"]

#Создание массива, индексами которого являются названия категорий учеников

student["Junior"]

student["Senior"]

}

#Если значение первого поля совпадает с индексом массива belt,

#содержимое соответствующего элемента массива увеличивается на единицу

{for(colour in belt)

{if ($1==colour)

belt[colour]++}}

# Если значение второго поля совпадает с индексом массива student

# содержимое соответствующего элемента массива увеличивается на единицу

{for (senior_or_junior in student)

{if ($2==senior_or_junior)

student [senior_or_junior] ++}}

# Вывод полученных результатов

END {for (colour in belt)

print "The club has ", belt[colour],colour,"Belts"

print "*******************************"

for (senior_or_junior in student) print "The club has",\

student[senior_or_junior],senior_or_junior,"students"

}

^C

$ ~

$ ~ chmod +x belts.awk

$ ~

В процедурной части шаблона begin в переменную FS записывается символ '#" - pазделитель полей во входном файле. Затем создаются два массива, belt и student, индексами которых являются соответственно названия поясов и названия категорий учеников. Оба массива остаются не инициа-лизированными, их тип не определен.

В первом цикле for значение первого поля каждой записи входного файла сравнивается с названием индекса массива belt (индекс равен "Yellow", "Orange" или "Red"). Если обнаруживается совпадение, выполняется приращение элемента, хранящегося в массиве по этому индексу. Поскольку операция ++ (инкремент) определена для целочисленных значений, утилита awk считает, что массив целочисленный, и инициализирует его элементы значением 0.

Во втором цикле for значение второго поля сравнивается с названием индекса массива student (индекс равен "Junior" или "Senior"). Результат операции вычисляется так же, как и в первом цикле.

В процедурной части шаблона END осуществляется вывод итоговых результатов. Итого:

$ ~ ./belts.awk grade_student.txt

The club has  2 Red Belts

The club has  1 Orange Belts

The club has  2 Yellow Belts

**************************

The club has 7 Senior students

The club has 7 Junior students

$ ~

SED

Работа с редактором sed

Команды sed вводятся в командной строке либо размещаются в файле сценария подобно тому, как это делается в случае с утилитой awk. При использовании sed важно помнить следующее: этот редактор оставляет без изменения исходный файл независимо от того, какая команда выполняется. Копия входного потока помещается в буфер редактирования, а все изменения направляются на экран или переадресуются в выходной файл. Поскольку редактор sed не предназначен для работы в интер-активном режиме, текстовые строки, подлежащие изменению, отбираются либо по номерам, либо на основании соответствия регулярному выражению.

Чтение и обработка данных в sed

Общая схема работы редактора sed такова:

• • Редактор последовательно извлекает строки текста из файла или стандартного входного потока и копирует их в буфер редактирования. 

  • Затем он считывает первую команду из командной строки или сценария, осуществляет поиск строки с указанным номером или строки, соответствующей шаблону, и применяет к ней эту команду. 

  • Второй пункт повторяется до тех пор, пока не будет исчерпан список команд. 

Вызов редактора sed

Вызвать редактор sed можно тремя способами:

• • Ввести набор команд sed в командной строке. 

  • Поместить набор команд sed в файл и передать его редактору sed в командной строке. 

  • Поместить набор команд sed в файл сценария и сделать его выполняемым.

• Если редактор sed вызывается для выполнения одиночных команд, формат командной строки будет таким: sed [опции] 'команды' входной_файл

Как и в awk, не забудьте заключить команды в одинарные кавычки, чтобы защитить от интерпрета-ции находящиеся в них специальные символы.

• Если команды sed помещены в отдельный файл, командная строка примет следующий вид: sed [опции] — f файл_сценария входной_файл

• Если файл сценария является исполняемым, запустить его на выполнение следует таким образом: файл_сценария [опции] входной_файл

Когда входной файл не указан, sed будет ожидать поступления данных из стандартного входного потока: с клавиатуры или из канала.

Ниже перечислены основные опции редактора sed и описано их назначение:

• • -n Запрет вывода на экран. При наличии этой опции редактор sed не будет записывать обрабатываемые им строки в стандартный выходной поток, тогда как по умолчанию отображается каждая входная строка. Осуществить вывод нужной строки можно будет только с помощью команды p (рассматривается ниже).

  • -e Следующей командой будет команда редактирования. Эта опция используется в том случае, когда команд редактирования несколько. Если же имеется только одна такая команда, то указывать данную опцию не нужно, хотя ее наличие и не является ошибкой.

  • -f Эта опция используется при подключении файла сценария.