Reference book of shell

Токен (token) — «знак, символ; опознавательный знак; жетон» объект, создающийся из лексемы (распознанные группы) в процессе лексического анализа токенизации (tokenizing).

Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена

Лексема (слово, примитив, token) — последовательность допустимых символов языка программирования, имеющая смысл для транслятора который выполняет  преобразование "исходного языка"  в язык "объектный" имеющий смысл для работы конкретной машины.

Лексический анализ («токенизация») — процесс аналитического разбора входной последовательности символов на распознанные группы — лексемы — с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах).

Синтаксический анализ (разбор или парсинг parsing) в лингвистике и информатике — процесс сопоставления линейной последовательности лексем (слов, токенов) естественного или формального языка с его формальной грамматикой. Результатом является дерево разбора (синтаксическое дерево). Обычно применяется совместно с лексическим анализом.

Синтаксический анализатор (парсер parser) — это программа или часть программы, выполняющая синтаксический анализ

Нисходящий парсер (top-down parser), восходящий парсер (bottom-up parser), область применения всё что угодно, имеющее синтаксис («составление», «координация», «порядок») например предложения и словосочетания, целью синтаксисов является установление синтаксических правил, синтаксис команды echo: echo [ПАРАМЕТР]... [СТРОКА]...

Переменные и параметры

Как и в любом языке программирования, оболочки предоставляют переменные: переменные это имена для обозначения сохраненных данных и работы с ними. Оболочка предоставляет основные устанавливаемые пользователем переменные и некоторые встроенные переменные, называемые параметрами (в контексте оболочки). Параметры оболочки обычно отражают некоторые аспекты  состояния оболочки и устанавливаются автоматически при старте или как побочный эффект другой операции.

Значения переменных - это строки. Переменные присваиваются с помощью операторов формы name=value. Value не является обязательным; его пропускание присваивает пустую строку, "пустая строка " это то же переменная в итоге name=   будет равно "пустая строка" и подобная переменна часто используется. Если значение указано, оболочка расширяет значение и присваивает его name. Оболочка может выполнять различные операции в зависимости от того, установлена ли переменная или нет, но присвоение значения это единственный способ установить переменную. Как проверить является ли переменная пустой, не установленной:

$ var=

$ if [ -n "$var" ]; then echo "not empty"; else echo "empty"; fi

empty

$ var=1

$ if [ -n "$var" ]; then echo "not empty"; else echo "empty"; fi

not empty

$

Или так:

$ var=

$ if [ "x$var" = "x" ]; then echo "empty"; else echo "not empty"; fi

empty

$ var=1

$ if [ "x$var" = "x" ]; then echo "empty"; else echo "not empty"; fi

not empty

$ 

Переменные, которым не было присвоено значение, даже если они были объявлены и получили атрибуты, называются неустановленными . 

Слово, начинающееся со знака доллара, обозначает ссылку на переменную или параметр. ($var — ссылка)

Слово, включая знак доллара, заменяется значением названной переменной. (var=1 — переменная и ее значение)

Оболочка предоставляет богатый набор операторов раскрытия, от простой замены значения до изменения или удаления частей значения переменной, соответствующих шаблону..

Bash использует хэш-таблицы для хранения и извлечения переменных оболочки и связанные списки этих хеш-таблиц для реализации области видимости переменных. Существуют разные области видимости переменных для вызовов функций оболочки и временные области для переменных, устанавливаемых операторами присваивания, предшествующими команде. Например, когда эти операторы присваивания предшествуют команде, встроенной в оболочку, оболочка должна отслеживать правильный порядок разрешения ссылок на переменные, а связанные области позволяют это делать с помощью bash. В зависимости от уровня вложенности выполнения может потребоваться большое количество областей 

действия.

Парсинг

Parse — анализировать, parser — анализатор или "синтаксический анализатор". Первоначальной задачей механизма синтаксического анализа является лексический анализ: разделить поток символов на слова и применить значение к результату. 

Слово — это основная единица, на которой работает синтаксический анализатор. Слова — это последовательности символов, разделенных метасимволами, которые включают простые 

разделители, такие как пробелы и табуляторы, или символы, которые являются специальными для языка оболочки, например точки с запятой и амперсанды.

Лексический анализатор берет строки ввода из строки чтения или другого источника, разбивает их на токены по метасимволам, идентифицирует токены на основе контекста и передает их синтаксическому анализатору для сборки в операторы и команды и здесь задействовано много контекста - например, слово for может быть зарезервированным  словом, идентификатором, частью оператора присваивания или другим словом.

Bash позволяет заменять первое слово простой команды произвольным текстом или псевдонимом (alias). Поскольку они полностью лексичны, то есть способны становиться частью языка, лексемы без ущерба для синтаксиса, псевдонимы можно использовать для изменения грамматики оболочки: например можно написать псевдоним реализующий составную команду, которую оболочка bash не предоставляет, с использованием псевдонимов создаются сложные и эффективные конструкции. Синтаксический анализатор bash полностью реализует псевдонимы на лексической фазе, НО синтаксический анализатор должен знать, когда расширение псевдонима разрешено, одним из примеров может послужит применение "ключевого слова" function перед именем функции. где ключевое(зарезервированное) слово function используется для предотвращения "столкновений" псевдонимов оболочки (alias) с именем функции (с ключевым словом function псевдоним не раскрывается):

.

В каком порядке "Bash parser" экранирует символы и разбивает слова/токены в командной строке? 

(согласно статье: http://mywiki.wooledge.org/BashParser)

1. Прочитать строку.

2. Обрабатывать / удалять кавычки, "цитирования".  (илюстрация того, что про кавычки не следует забывать, как про одинарные так и про двойные)

3. Разделить на точки с запятой.

4. Процесс, обработка "special operators", которыми являются:

    Группировки команд и расширения скобок, например {…}.

    Процессные замены, например cmd1 < (cmd2).

    Перенаправление.

    Каналы.

5. Выполнить расширения, которые  должны включать:

    Расширение скобки, например {1..3}

    Расширение тильды, например ~root .

    Расширение параметра, например ${var##*/}. или ${parameter: -word} - раскроет до параметра и слова.

    Арифметическое разложение, например $((1+12)).

    Подстановка команд, например $(date).

    Расщепление слов, которое применяется к результатам расширений; использует $IFS - разделитель полей во вводимой строке (IFS -- Input Field Separator) по умолчанию  пробел.

    Расширение пути или глобирование, например ls ?d*.

6. Разделение слов, которое применяется ко всей строке; не использует $IFS .

7. Исполнение.

ls — Listing

Еще одна базовая команда, это чистой воды утилита, в Linux дистрибютивах как правило привязанная к псевдониму ls:

$ type ls

ls is aliased to `/bin/ls -hFh --color'

За долгую историю своего существования обросла массой ключей, позволяющих применять ее где угодно и с большой гибкостью, ниже только часть ее опций:

Примеры приводить бессмысленно, поскольку их великое множество, если конечно ей пользоваться а не пользаваться mc, mc это "дурной тон", наглядность структуры файловой системы в итоге формируется в голове пользователя и потребность любоваться ей в двух панельном варианте рано или позно отпадет, но конечно скажут, что там удобны операции копирования, удаления, макрокоманды .....люди! все это суета, то что называется "игра не стоит свечь", Unix самодостаточная операционная система в своей основе и не требует или почти не требует дополнительного софта для администрирования, в заключении все таки надо привести пример, пример использования позиционных параметров командной строки, ну о подсветке файлов и говорить не стоит, плюс привязка к псевдонимам, и в итоге все не менее одобно, плюс команды past, split, fold и тд:

$ ls ~/common ~/copier / . ..

.:

 apparmor/               Documents/            lp               typescript

 base/                   Downloads/            lxc-rest/        vertical-overview/

 blacklist.txt           eco                   Mail/            Videos/

 common/                 emptydir/             Makefile.in      VMware/

 conky.html              file1                 Music/           vmware-host-modules/

 conky_kill*             GNS3/                 myapp_postgre/   VMware-Workstation-Full-16.0.0/

 conkyrc                 grepp.txt             Pictures/       'Без имени 1.odg'

 conkyrc_main            HP/                   Public/          Видео/

 copier/                 hplip-3.21.12/        scan/            Документы/

 COPYING                 installer/            skb-0.4/         Загрузки/

 copyright*              link@                 Telegram/        Изображения/

'created direct vcvcv'   loganalyzer-4.1.11/   Templates/      'Рабочий стол'/

 Desktop/                logclean*             topten

..:

user/

/:

 0      'data portainer'/   ifpwd*            lib/          mnt/    root/   sys/   vmlinuz@

 bin/    dev/               ifwright*         lib64/        opt/    run/    tmp/   vmlinuz.old@

 boot/   etc/               initrd.img@       lost+found/   path/   sbin/   usr/

 Data/   home/              initrd.img.old@   media/        proc/   srv/    var/

/home/user/common:

utils.c  utils.h

/home/user/copier:

copier.py  __init__.py

$ ....Использование команды ls совместно с циклом for

ls права в восьмеричном формате:

$ ls -l | awk '{k=0;for(i=0;i<=8;i++)k+=((substr($1,i+2,1)~/[rwx]/)*2^(8-i));if(k)printf("%0o ",k);print}' 

$ ls -l conkyrc | awk '{k=0;for(i=0;i<=8;i++)k+=((substr($1,i+2,1)~/[rwx]/)*2^(8-i));if(k)printf("%0o ",k);print}'

644 -rw-r--r-- 1 user user 2.2K Nov 26 17:44 conkyrc

$ 

Строка здесь '<<<'  "here-string"

<<< - это here-string передает строку на ввод команды, все преимущество в том, что используя канал для той же цели мы используе subshells, и с переменными в исходной оболочке естественно будут проблемы например:

$ echo "hello world" | read first

$ echo $first

     #встает законный вопрос: Где переменная?

$ 

И совсем другое дело с here-string

$ read first <<< "hello world"

$ echo $first

hello world

$ 

В общем и целом here-string это передача строки в stdin:

$ echo <<< echo "Передача строки в stdin"

Передача строки в stdin

$ cat <<< "string"

string

$

 here-string может рассматриваться как урезанная форма here document.

$ cat <<< "Here-String ${USER} ${HOME}"

Here-String user /home/user

$    https://www.baeldung.com/heredoc-herestring 

Файловые дескрипторы

Дескриптор (descriptor «описывающий») — лексическая единица (слово, словосочетание) информационно-поискового языка. 

Не следует путать файловые дескрипторы с индексными , если индексные дескрипторы это по сути и есть файлы, системное имя файлов, то есть внутреннее системное имя файла это номер его индексного дескриптора (inumber), хранящего информацию о файле и узнать его можно выполнив команду ls с ключом -i(ls -i), которая покажет иноды, эти самые индексные дескрипторы, а найти файл по номеру инода поможет команда  "find  [путь] [номер инода]", то с файловыми дескрипторами все обстоит более замысловато, хотя и не сложно, дело в том, что фаилового дискриптора не существует до тех пор пока файл не становится связанным с каким нибудь процессом, проще говоря открыт, дескриптор файла -- это число, по которому система идентифицирует открытые файлы, идентифицирует и выполняет с ними текущие или запланированные процессы,  по умолчанию после загрузки система открывает три файла асоциированные с тремя потоками: поток ввода, поток вывода и поток ошибок, естественно это не все файлы открываемые после старта системы, достаточно вспомнить сокеты, которые тоже файлы ....и прочее, порядка 12-ти. Узнать файловый дискриптор задача не столь тривиальная как узнать номер инода, для этого можно воспользоваться командой "lsof - list Open Files": https://linux-notes.org/lsof/ ; https://zalinux.ru ; https://www.opennet.ru/lsof_util ; https://www.ibm/using-file-descriptors , для начала откроем файл;

$ vim file1

И выполнив команду: 

$ lsof | grep file1

COMMAND   PID   TID TASKCMD  USER   FD  TYPE  DEVICE   SIZE/OFF                        NODE NAME

   vim  41521                user   6u  REG      8,7      12288    1090422 /home/user/.file1.swp

..... и в столбце "FD - file descriptor" увидим его номер -6 и символ указывающий на режим в котором файл был открыт - u (файл открыт для чтения и для записи), закрыв vim, увидим пустой вывод команды "lsof | grep file1", пример не "абсолютный" но от части "демонстрирующий". Ниже еще две неплохие статьи на ту же тему;

Как проверить все открытые файлы

Файл дескриптор в Linux с примерами

Файлы — это глобальный ресурс. Что бы система могла с ними работать применяется индексация в случае файловых дискрипторов, это процесс в процессе их использования: это целочисленные значения или файловые дескрипторы, результат индексации выполняющейся динамически. Если процесс открывает файл, на этот открытый файл ссылается индекс. Этот индекс уникален для процесса ( но не для потока). Если файл закрыт, дескриптор файла (целочисленный индекс) больше не используется и может быть повторно использован процессом (как и любым из его потоков), или другим процессом. Иноды — индексные дескрипторы, тоже результат  индексации, индексации на уровне файловой системы как таковой в отличии от файловых дескрипторов можно условно сказать глобальной индексации.

Применение метасимвола '*'

Символ звездочки может служить заменой любой части имени файла. Следующая команда выводит список всех файлов, имена которых начинаются со строки "app":

$ ls app*

appdva app_tapes

appdva_SLA

Вот как можно получить список файлов, имеющих расширение doc:

$ ls *.doc

accounts.doc qtr_end.doc

Представленная ниже команда находит файлы, у которых имя начинается со строки "cl", а расширение равно sed:

$ ls cl*.sed

cleanlogs.sed cleanmeup.sed

cleanmessages.sed

Звездочку удобно применять, когда, например, не хочется вводить полное имя каталога при переходе в него:

$ cd /etc

$ ls -l | grep ^d

drwxr-xr-x 2 root root 1024 Jan 26 14:41 cron.daily

drwxr-xr-x 2 root root 1024 Jan 27 1998 cron.hourly

drwxr-xr-x 2 root root 1024 Jan 27 1998 cron.monthly

drwxr-xr-x 2 root root 1024 Jan 26 14:37 cron.weekly

$ cd cron.w* 

S pwd

/etc/cron.weekly

Применение метасимвола '?'

Знак вопроса служит для замены любого отдельного символа. Следующая команда выводит список файлов, имена которых содержат не менее трех символов, причем третьим является символ 'R':

$ ls ??R*

BAREAD

Следующая команда ищет файлы с именами, начинающимися со строки "conf", за которой следуют два произвольных символа и расширение log:

$ ls conf??.log .

confl2.log conf.2.log

conf25.log

Вот как можно найти файлы, имена которых состоят не менее чем из четырех символов, причем первым является символ 'f', а последним — 's':

$ ls f??*s

ftpaccess ftphosts ftpconversions ftpusers ftpgroups

Применение метасимволов […] и [!…]

Метасимволы [… ] соответствуют любому символу из числа тех, что указаны в квадратных скобках. Представленная ниже команда выводит список файлов, имена которых начинаются с символа 'i' или 'o':

$ ls [io]*

inetd.conf ioctl.save outputrc

info?dir inputrc

initrunlvl issue

inittab issue.net

    В скобках можно задавать диапазон символов. Начальный и конечный символы при этом разделяются дефисом. Например, следующая команда ищет файлы с именем log, в расширении которых первый символ — цифра:

$ ls log.[0-9]*

log.0323 log.0325 log.0324 log.0326

    Метасимволы [!…] соответствуют любому символу из числа тех, что не указаны в квадратных скобках. Если в предыдущем примере на первом месте в скобках поставить восклицательный знак, команда будет искать файлы с именами log, в расширении которых первый символ не является цифрой: 

$ ls log.[!0-9]*

log.sybase

    Приведенная ниже команда ищет файлы, имена которых начинаются со строки "LPS", два следующих символа могут быть произвольными, затем идет символ, не являющийся цифрой, а за ним — произвольная строка:

$ ls LPS??[!0-9]*

LPSILP LPSOSI LPSOPS LPSPOPQTR

    Поиск файлов, имена которых начинаются с символа верхнего регистра, производится посредством такой команды:

$ ls [A-Z]*

    Следующая команда ищет файлы, имена которых, наоборот, начинаются с символа нижнего регистра:

$ 1а [а–z]*

    А эта команда находит файлы, в начале имени которых стоит цифра: 

$ ls [0-9]*

    Вот как можно найти все скрытые файлы (такие как .profile, .rhosts, .history и т. д.): 

$ ls .*

    Метасимволы представляют собой универсальный инструмент поиска строк по шаблону. С их помощью легко находить нужные файлы и каталоги. Далее мы более подробно рассмотрим способы применения метасимволов в составе регулярных выражений.

read

"Замечательная" команда read, это встроенная команда bash, которая считывает строку из стандартного ввода (или из файлового дескриптора), если строка состоит из нескольких слов, разбивает строку на слова, первое слово в качестве значения присваивается первому имени переменной, указанной как аргумент команды, второе — второму и так далее. Если задана единственная переменная, в нее записывается вся строка. Если ввести команду read без параметров строка помешается в переменную среды $REPLY. При указании нескольких переменных в первую из них записывается первое слово строки, во вторую — второе слово и тд., последней переменной присваивается остаток строки. Общий формат команды:    read  переменная1  переменная2...

Иначе так: команда read это способ взаимодействия пользователя с вводом с клавиатуры, который вы можете увидеть как stdin, команда будет ждать, пока пользователь введет данные, которые будут присвоены переменной или переменным, указанным в качестве аргумента, аргументов команды. Стандартно используется в скриптах, когда надо присвоить значение переменной из stdin (например совместно с конструкциями оператора выбора case).

В следующем примере в переменную variable_1 записывается весь вводимый с клавиатуры текст до тех пор, пока не будет нажата клавиша [Enter]:

В данном случае cat читает данные не из файла, а из стандартного входного потока (клавиатуры), и перенаправляет его в новый файл. По завершении ввода данных нажмите 

[Ctrl+D (C)], нумерация строк "интерактивна" и в файл не записывается. Для просмотра управляющих символов в файле воспользуйтесь опцией -v. 

Или просто создать файл:

Строковый редактор ed

https://drive.google.com/file/ED   <<--------PDF

ED (editor) — первый стандартный текстовый редактор операционной системы UNIX, прототип будущих vi и vim, родоначальник семейства потоковых редакторов, таких как sed — Stream ED который и по сегодняшний день является эфективным и востребованным средством обработки данных. ED был написан Кеном Томпсоном на языке ассемблера в 1971 году. 

Чтобы создать с помощью ed файл с именем junk, содержащий некоторый текст, выполним следующее:

VI - текстовой редактор операционной системы

www.cs.colostate.edu/helpdocs/vi.html 

Значение текстового редактора для *nix систем, то что называется "переоценить не возможно" и поскольку редактор ed был довольно сложным для «простого смертного», George Coulouris разработал редактор em (editor for mortals — редактор для смертных). Билл Джой модифицировал редактор em и назвал его en, а позже на его основе создал ex, в котором появился визуальный режим, вызывавшийся командой vi. Так как пользователи больше времени проводили в визуальном режиме, ставший частью 2BSD, редактор сразу запускался уже в нём.  Так появился vi, бывший в то время всего лишь жёсткой ссылкой на ex,  и на сегодняшний день в современных Linux мы имеем:

~$ uname -v

 Debian 5.10.46-4kali1 (2021-08-09)

~$ type em

bash: type: em: not found

~$ type en

bash: type: en: not found

~$ type ed

ed is /bin/ed

~$ type ex

ex is /usr/bin/ex

~$ type vi

vi is /usr/bin/vi

~$ type vim

vim is /usr/bin/vim

Название конфигурационного файла для vi - .exrc и до ныне, и вот каким то не хитрым способом (очевидно через ядро) они связаны и работают исключая необходимость установки дополнительных редакторов и файловых менеджеров, но современный user врят ли обойдется без двух панельных менеджеров типа: "Midnight commander", vi подобного "Ranger" и копипастового "Nano".

Первая версия была написана Биллом Джоем в 1976 году, vi и по сей день входит по умолчанию наверное во все *nix системы, что вполне закономерно исходя из того что vi это "редактор операционной системы" в котором нет необходимости иметь всякого рода идиотские фичи, простота и надежность это и есть vi, естественно user всегда стремиться к избыточности, поэтому существует vim. Редактор писался для терминала ADM-3A, имевшего ограниченную клавиатуру, на ней не было выделенных клавиш-стрелок, а из модификаторов доступны только Shift и частично Ctrl. Эти обстоятельства и повлияли на выбор используемых в редакторе клавиш. 

Интерфейс "спартанский - ни чего лишнего" предельно простой:

Pipe

Канал одна из фундаментальных абстракций наряду с файлом и процессом –  способ подключения вывода одной программы на вход другой без каких бы то ни было временных файлов; а конвейер (pipeline) – это соединение двух или более программ посредством каналов, очевидный пример межпроцессорного взаимодействия – IPC.

Можно дать и такое определение: ... в процессе построения программ из конструкционных элементов меньшего размера  часто используются каналы как и перенаправление ввода-вывода при сборке и соединении отдельных частей. В результате, одни программы(модули) могут работать вместе с другими, использование каналов имеет еще один большой плюс, канал делает не нужным создание временных файлов, а работает через буфер ядра операционной системы иными словами через "разделяемую память". 

Или такое: ....каналом (pipe) называется способ "переадресации" данных, при котором результаты работы одной команды передаются другой команде в виде входных данных, с помощью каналов программы могут быть объединены в конвейеры и в конвейер может быть включено любое количество программ.

Какое ни давай, канал как способ взаимодействия различных процессов, ключевая "веха" в развитии Unix.

алгоритм pipe

входная информация: отсутствует

выходная информация: дескриптор файла для чтения дескриптор файла для записи

{

назначить новый индекс из устройства канала (алгоритм ialloc); 

выделить одну запись в таблице файлов для чтения, одну — для переписи; 

инициализировать записи в таблице файлов таким образом, чтобы они указывали на новый индекс;

выделить один пользовательский дескриптор файла для чтения, один — для записи, проинициализировать их таким образом, чтобы они указывали на соответствующие точки входа в таблице файлов;

установить значение счетчика ссылок в индексе равным 2; 

установить значение счетчика числа процессов, производящих чтение, и процессов, производящих запись, равным 1;

Канал организуется с помощью оператора "|" синтаксис таков:  команда1 | команда2

tee

Великолепная утилита, очень похожа на cat и во многих ситуациях удобнее использовать именно tee.

Команда tee - "тройник" работает следующим образом: входные данные копируются, при этом одна копия направляется в стандартный поток вывода, а другие копии — в указанные файлы.  Эта утилита соответствует своему имени (tee — тройник): она берет единый поток входной информации и отправляет его по двум направлениям. 

tee [ПАРАМЕТР]... [ФАЙЛ]...

-a --append                      добавлять данные к указанным ФАЙЛам, не перезаписывать

-i --ignore-interrupts      игнорировать сигналы прерываний

Опция -а задает добавление выводимых данных в конец файла (по умолчанию производится замена содержимого файла).

Команду tee удобно применять в том случае, когда необходимо вести журнал выводимых данных или сообщений.

Рассмотрим пример. Команда who формирует список пользователей, которые зарегистрированы в данный момент в системе, а команда tee отображает этот список на экране, направляя копию в файл who.out.

tail

Созвучная с tee и не менее востребованная команда tail позволяет вывести заданное количество строк файла "с низу", аналогичная команда head "с верху" например:

$ who -a | tee who.out 

           system boot  2023-10-11 11:09

LOGIN      tty1         2023-10-11 11:10               879 id=tty1

           run-level 5  2023-10-11 11:10

Пусть файл будет очень длинным, например системный журнал и нам интересны только последние события

$ tail -1 who.out

           run-level 5  2023-10-11 11:10

$ tail -2 who.out

LOGIN      tty1         2023-10-11 11:10               879 id=tty1

           run-level 5  2023-10-11 11:10

Зачастую отдельно не используется, а используется в сочетании с AWK, SORT, GREP..и прочее, как и командой fold, позволяющей "форматировать" вывод под экран монотора, но наиболее часто используется когда надо дописать что либо  в файл и посмотреть дописанное:

$ echo "дополнение -1" >> who.out | tail -1 who.out

дополнение -1

Более эстетичный способ все та же команда tee, за счет опции -a (добаить в указанный файл не перезаписывая, без опции перезапишет):

$ echo "дополнение -2" | tee -a who.out

дополнение -2

$ cat who.out 

           system boot  2023-10-11 11:09

LOGIN      tty1         2023-10-11 11:10               879 id=tty1

           run-level 5  2023-10-11 11:10

дополнение -1

дополнение -2

$ echo "дополнение -3" | tee who.out 

дополнение -3

$ cat who.out 

дополнение -3

и конечно самый простой способ дописать (без выкрутасов) это использовать перенаправление:

$ echo "дополнение -" >> who.out

$ cat who.out 

дополнение -3

дополнение -4

Обработка результатов сортировки с помощью команд head и tail

pee  moreutils package

Не менее интересная команда pee из пакета moreutils, тоже "тройник", тройник позволяющий выводить srdout в различные каналы, например;

$ echo "Show this forward and in reverse" | pee cat rev 

Show this forward and in reverse

esrever ni dna drawrof siht wohS

или

$ echo "Linux is Fun!" | pee cat 'cut -d" " -f1' 

Linux is Fun!

Linux

Или транслировать команду на несколько узлов:

$ echo "uptime" | pee "ssh host1" "ssh host2" "ssh host3" 

Более наглядно:

$ echo "uptime" | pee "cat > file1" "cat > file2" "cat > file3"; ls -l file*

-rw-r--r-- 1 user 7 Jun 13 11:57 file1

-rw-r--r-- 1 user 7 Jun 13 11:57 file2

-rw-r--r-- 1 user 7 Jun 13 11:57 file3

$ cat file1 file2 file3 

uptime

uptime

uptime

Не менее забавная утилита xargs

exec

https://sites.google.com/site/bashhackers/commands/exec

http://espressocode.top/exec-command-examples/

http://rus-linux.net/consol/exec-in-command-find

https://unix.stackexchange.com/how-to-run-find-exec

Системный вызов exec, одна из ключевых функции операционной системы, способ "наполнить" вновь созданный процесс содержанием или заменить прежнее fork-and-exec.   

Команда exec заменяет текущий интерпретатор shell указанной командой. Обычно она используется для того, чтобы закрыть текущий интерпретатор и запустит другой, как и в качестве стандартной процедуры запуска новой программы называемой fork-and-exec (здесь). Но у нее есть и другое применение. Например, команда вида ехес < файл делает указанный файл стандартным входным потоком всех команд, выполнить ее в интерактивном режиме нет смысла — она предназначена для использования в сценариях, чтобы все идущие после нее команды читали свои входные данные из файла. В этом случае в конце сценария обязательно должна стоять команда ехес <&- которая закрывает входной поток (в данном случае файл). Подобный прием применяется преимущественно в сценариях, выполняющихся при выходе из системы.

Итого встроенная команда exec применяется чтобы:

• заменить оболочку указанной программой (выполняя её не как новый процесс)

• заменить набор перенаправлений для программы или для текущей оболочки/скрипта.

$ exec > ttt

$ echo "Это \"та самая\" команда exec,"

$ echo "она заменила стандартный вывод stdout, на вывод в файл \"ttt"\"

$ exit

$ cat ttt

Это "та самая" команда exec,

она заменила стандартный вывод stdout, на вывод в файл "ttt"

$ 

Еще проще:

$ cat > exxec

#!/bin/bash

echo 123456

exec > ttt1

cat ttt1

^C

$ . exxec

123456

$ 

Пример сцеария где команда  exec < data-file перенаправляет ввод с stdin в файл в результате весь ввод, вместо stdin, будет производиться из этого файла, что дает возможность читать содержимое файла, строку за строкой, анализировать каждую введенную строку, например с помощью sed и awk и т.д.  (https://poplinux.ru/adv-bash )

$ cat data-file

sdfg

xcvb

xcvb

$ cat > eeexxx

#!/bin/bash

# Перенаправление stdin с помощью 'exec'.

exec 6<&0          # Связать дескриптор fd6 со стандартным вводом stdin.

exec < data-file   # stdin заменяется файлом "data-file"

read a1            # Читается первая строка из "data-file".

read a2            # Читается вторая строка из "data-file."

echo

echo "Следующие строки были прочитаны из файла."

echo "===================="

echo $a1

echo $a2

echo "===================="

exec 0<&6 6<&-

# Восстанавливается stdin из fd6(0<&6), где он был сохранен как результат выполнения exec 6<&0, 

# далее fd6 закрывается(6<&-) освобождая его для других процессов(<&6 6<&- даст тот же результат).

echo -n "Введите строку:  "

read b1  # Теперь функция "read" может принимает данные с обычного stdin.

echo

echo "Строка, принятая из stdin:" $b1

echo

$ . eeexxx

Следующие строки были прочитаны из файла.

====================

sdfg

xcvb

====================

Введите строку:  tetetetet

Строка, принятая из stdin: tetetetet

$ 

Команда exec, на первый взгляд кажется очень "загадочной", однако обратившись к фундаментальным идеям устройства, построения "Unix", мы выясним что все ее "шаманства" кроются именно там, и ни какой "черной магии"!, воспользуемся например прекрасной книгой Мориса Баха "Архитектура операционной системы UNIX", и поскольку здесь нет места раскрывать "тему", тем более, что автор делает это достаточнр полно (7.5 Вызов других програм)  , приведем лишь пример алгоритма выполнения системной функции exec:

алгоритм ехес 

входная информация:

1. имя файла

2. список параметров

3. список переменных среды                                     

выходная информация: отсутствует

{

получить индекс файла (алгоритм namei);

проверить, является ли файл исполнимым и имеет ли пользователь право на его исполнение;

прочитать информацию из заголовков файла и проверить, является ли он загрузочным модулем;

скопировать параметры, переданные функции, из старого адресного пространства в системное пространство;

for (каждой области, присоединенной к процессу) отсоединить все старые области (алгоритм detachreg);

for (каждой области, определенной в загрузочном модуле) { выделить новые области (алгоритм allocreg); 

присоединить области (алгоритм attachreg);

загрузить область в память по готовности (алгоритм loadreg);

}

скопировать параметры, переданные функции, в новую область стека задачи;

специальная обработка для setuid-программ, трассировка;

проинициализировать область сохранения регистров задачи (в рамках подготовки к возвращению в режим задачи);

освободить индекс файла (алгоритм iput);

}

И тем не менее все равно встает вопрос, зачем подобный инструмент по замене процесса оболочки выполняя его не как "новый процесс", предоставлять в руки "дикому, потенциально склонному к разрушению" user-у, и это конечно наводит на совершенно закономерные конспирологические размышления ........

Постоянное перенаправление

Еще один полезный способ применения exec и перенаправления, для скриптов, позволяющий сократить объем написания кода:

$ cat > exxec

exec 1>outfile

echo "This is a test of redirecting all output"

echo "from a shell script to another file."

echo "without having to redirect every line"

^C

$ sh exxec

$ cat outfile

This is a test of redirecting all output

from a shell script to another file.

without having to redirect every line

$ https://habr.com/ru/company/blog <------- хорошая статья

Подстановка команд, переменных, арифмитических выражений

Костромин "Linux для пользователя" 

Подстановка команд

Подстановка команд заключается в замене имени команды на результат ее выполнения. Существует две формы подстановки команд:

$(command) — предпочтительней по причине "универсальности"

`command`

Если применяется вторая из этих форм, то обратный слэш внутри кавычек трактуется как литерал, кроме тех случаев, когда за ним следует $, `, или . Если же используется форма $(command), все символы внутри скобок составляют команду и ни один из них не считается специальным символом. Если подстановка производится внутри двойных кавычек, то в результатах подстановки не осуществляется разделение слов и раскрытие шаблонов имен файлов и каталогов.

Подстановка параметров и переменных

Символ $ используется для обозначения операций подстановки параметров, подстановки команд и подстановок  арифметических выражений. Выражение или имя, следующее за $, может быть заключено в скобки; что не обязательно, но удобно, так как позволяет отделить заменяемое выражение от следующих за ним слов или символов.  Таким образом, чтобы в командной строке вызвать значение параметра (в частности, любой переменной), нужно  вставить выражение вида ${parameter}. Скобки необходимы только в том случае, если имя параметра состоит из нескольких цифр, или когда за именем следует символ, который не должен интерпретироваться как часть имени.

Все значения переменных подвергаются подстановке знака тильды, раскрытию параметров и переменных, подстановке команд, подстановкам арифметических выражений, а также удалению специальных символов цитирования Разделение слов не производится, за исключением случая "$@".  Раскрытие шаблонов имен файлов и каталогов не производится.

$ — подстановка переменной

${} — то же подстановка переменной и в некоторых случаях работает только она, фигурные скобки {brace`s}, основное назначение фигурных скобок в создании "локальной области действий" именно по этому языки С, С+, С++ и многие другие, называются языками фигурных скобок, для перечисления. повторения, исключения, создание групп операторов ..., хороший пример функция или блок кода, заключающийся то же в фигурные скобки.

command $(результаты awk sed и тд) — подстановка параметров, переменных в команду

command ${результаты awk,sed и тд} — то же подстановка параметров, переменных в команду, с возможностью их редактировать,"expansions" расширение.

$ cat > xxx 

1234

^C

$ echo $(cat xxx)

1234

$ zzz=4321

$ echo $zzz

4321

$ echo ${zzz}

4321

$ echo ${zzz%21}

43         https://www.opennet.ru/bash_scripting_guide%     https://tldp.org/LDP/abs/BRACE 

$ echo Example: {$(cat xxx),$zzz}

Example: 1234 4321

$ 

{ls,-l} равно ls -l 

{ls,-l} это "расширение скобки" - expansions, чтобы стать ls -l

Арифмитические выражения в Bash

Bash предоставляет не мало способов выполнения арифметических операций, наиболее распространеные; let   expr   (( ))   bc

<<<

<<< - это here-string передает строку на ввод команды, все преимущество в том, что используя канал для той же цели мы используе subshells, и с переменными в исходной оболочке естественно будут проблемы например:

$ echo "hello world" | read first

$ echo $first

     #встает законный вопрос: Где переменная?

$ 

И совсем другое дело с here-string

$ read first <<< "hello world"

$ echo $first

hello world

$ 

 here-string может рассматриваться как урезанная форма here document.

Создание шаблонов для поиска выражений

Поиск одиночных символов с помощью метасимвола ´.´

Метасимвол '.' соответствует любому одиночному символу. Если, например, требуется найти слово, начинающееся с подстроки “beg”, после которой стоит произвольный символ, а за ним — символ 'n', задайте шаблон beg. n , Будут найдены такие слова, как “begin”, “began” и т.д.

Данный метасимвол удобно применять при фильтрации результатов работы команды Is -l для поиска файлов, имеющих требуемые права доступа. Следующий шаблон соответствует файлам, выполнять которые могут все пользователи;

...x..х..х

Пример:

В приведенном примере командная строка: $ ls -l | awk '{print $1 $3 $6 $7 $8 $9}'| grep  '...x..x..x'  Программа awk извлекает из этого списка только столбцы: 1,3,6,7,8,9, а команда grep  '...x..x..x'  применяет шаблон ...x..х..х. 

Команда $ ls -l (в первой части примера) для наглядности выполнена отдельно, вывод урезан.

Предположим, выполняется фильтрация текстового файла. Необходимо найти в нем строки, состоящие из десяти символов, из которых пятый и шестой ¨ХС¨. Данная задача решается с помощью такого шаблона:

....ХС....

Он означает:

первые четыре символа могут быть - произвольными,

следующие два - "ХС",

последние четыре - тоже произвольные.

Ниже пример сравнения:

Вернемся к файлу XXXX, шаблон ^001 соответствует строкам, начинающимся с символов "001". Результат его применения может быть таким:

Для поиска строк, у которых в четвертой позиции от начала стоит символ ¨1¨, можно воспользоваться следующим шаблоном:  ^...1

В результате получим:

Чтобы найти строки, начинающиеся с символов “comp”, следует указать: ^comp

Давайте немного усложним этот шаблон. Предположим, после символов "comp" могут идти любые две буквы, но завершать последовательность должны символы "ing": ^сomp.. ing

Этот шаблон обеспечивает поиск таких слов, как "computing", "complaining" и тд., то есть в регулярном выражении можно сочетать различные шаблоны поиска.

Поиск выражений в конце строки с помощью метасимвола ¨$¨

Метасимвол "$" предназначен для поиска слов или символов, находящихся в конце строки. Он указывается в конце шаблона. Предположим, требуется найти строки, заканчивающиеся словом "trouble". Эту задачу позволяет решить такой шаблон: trouble$

Следующий шаблон соответствует пустой строке, не содержащей символов: ^$

А с помощью следующего шаблона можно найти строки, включающие только один символ: ^.$

Поиск символов, встречающихся неопределенное число раз, с помощью метасимвола "*"

Метасимвол '*' означает, что предыдущий символ в регулярном выражении либо отсутствует, либо встречается произвольное число раз подряд (1, 2 и т.д.). Например, шаблон: compu*t

отвечает таким словам:

computer

computing

compuuuuute

А шаблон: 10133*

соответствует следующему:

101333

10133

10134

Поиск специальных символов с помощью метасимвола ¨\¨

Ряд символов, попадая в состав регулярных выражений, приобретает специальное значение. В общем случае специальными являются следующие символы:  $ . ` ¨ * [ ] ^ | ( ) \ + ?

Когда требуется найти строку, содержащую один из таких символов, его необходимо "защитить" в шаблоне с помощью обратной косой черты, которая отменяет специальное значение следующего за ней метасимвола. Предположим, строка содержит символ ¨.¨ который, как известно, в регулярном выражении соответствует произвольному символу. Вот шаблон для него: \.

Если необходимо найти файлы, допустим, с расширением pas, можно применить следующий шаблон:  \*\.pas

Поиск символов, входящих в заданный набор или диапазон ¨[ ]¨

Шаблон [ ] соответствует списку или диапазону символов, указанных в квадратных скобках.

Символы в списке можно разделять запятыми. Это облегчает восприятие шаблона, хотя и не является обязательным требованием.

Для задания диапазона символов используется дефис (-). Слева от него указывается первый символ диапазона, а справа — последний. Предположим, необходимо найти символ, являющийся цифрой. Можно применить такой шаблон: [0123456789]

Однако проще задать диапазон: [0-9]

Следующий шаблон соответствует любой строчной букве: [а-z]

Чтобы найти любую букву произвольного регистра, воспользуйтесь шаблоном: [A-Za-z]

Здесь формируется список из двух диапазонов: прописные буквы от А до Z и строчные буквы от а до z.

Представленный ниже шаблон соответствует любому алфавитно-цифровому символу: [A-Za-zO-9]

Далее показан шаблон, предназначенный для поиска трех-символьных комбинаций следующего типа: в начале находится буква s, за ней может следовать любая прописная или строчная буква, а завершает последовательность буква t: s[a-zA-Z]t

Если же комбинация состоит только из букв нижнего регистра, воспользуйтесь таким шаблоном: s[a-z]t

Чтобы найти слово “computer” независимо от того, расположено оно в начале предложения или нет, примените такой шаблон: [Сс]omputer

Следующий шаблон соответствует слову “system”, которое начинается с прописной или строчной буквы и за которым следует точка: [S,s]ystem\.

Запятая в квадратных скобках поставлена для того, чтобы сделать шаблон удобным для зрительного восприятия.

Метасимвол '*' размещенный после квадратных скобок, указывает на то, что символы в скобках могут повторяться неопределенное число раз. Например, следующий шаблон соответствует любому слову: [A-Za-z]*

Метасимвол '^' после открывающей квадратной скобки — это признак того, что шаблон соответствует любым символам, кроме указанных в скобках. Так, шаблон соответствует вcем символам, кроме букв: [^a-zA-Z]

Шаблон отвечает всем символам, которые не являются числами: [^0-9]

Поиск символов встречающихся заданное число раз

Метасимвол ¨*¨ позволяет находить символы, встречающиеся несколько раз подряд, но число повторений при этом не определяется. Если же необходимо в процессе поиска учитывать точное количество последовательных вхождений символа в строку, следует применить шаблон \{ \}. Существует четыре варианта этого шаблона:

шаблон\ {n\} Соответствует шаблону, встречающемуся ровно n раз подряд

шаблон\ {n, \} Соответствует шаблону, встречающемуся не менее n раз подряд

шаблон\ {, m\} Соответствует шаблону, встречающемуся не более m раз подряд

шаблон \ {n, m\} Соответствует шаблону, встречающемуся не менее n и не более m раз подряд, где n и m — целые числа из интервала от 0 до 255

Представленный ниже шаблон соответствует последовательности из двух букв А, за которыми следует буква В: А\ {2\}В

В результате получим ¨ААВ¨.

В следующем шаблоне задано, что буква А встречается не менее четырех раз подряд: А\ {4,\}В

Возможные результаты поиска — ¨ААААВ¨ или ¨АААААААВ¨, но не ¨АААВ¨. Поиск последовательности, в которой буква А встречается от двух до четырех раз, выполняется по такому шаблону: А\ {2,4\}В

Будут найдены строки ¨ААВ¨, ¨АААВ¨, ¨ААААВ¨, но не ¨АВ¨ или ¨АААААВ¨.

Вернемся к уже рассматривавшемуся примеру фильтрации текстового файла, фрагмент которого представлен ниже:

1234ХС9088

4523ХХ9001

0011ХА9912

9931ХС3445

Допустим, требуется найти строки, в которых первые четыре символа — цифры, за ними идут символы "XX", а затем — еще четыре цифры. Решить данную задачу позволит такой шаблон: [О—9]\{4\}XX[0—9]\{4\}

Применив этот шаблон к приведенному выше фрагменту, получим:

1234ХС9088 - не соответствует

4523XX9001 - соответствует

0011ХА9912 - не соответствует

9931ХС3445 - не соответствует