Настройка Bacula на FreeBSD

Автор: princeps.

Как известно, системные администраторы делятся на две категории: тех, кто еще не делает резервные копии, и тех, кто уже делает. Также из собственного опыта я сделал вывод, что при планировании нового сервиса надо в первую очередь думать, куда и как он будет бэкапиться. Выбрать себе систему по вкусу можно, прочитав, например, вот эту статью. Если резервируемых компьютеров больше двух, то стоит, наверное, подумать о сетевой системе резервного копирования, каковой и является bacula, о которой пойдет речь.

Бакула гибкая и мощная система. В моей статье достаточно кратко будет описано только самое необходимое: установка серверной и клиентской части на FreeBSD, резервирование на жесткий диск пары серверов, в т.ч. Windows (я полагаю, что у большинства хоть один вражий сервер да закрался в сеть). Для полноценного использования системы почитайте как минимум те ресурсы, которые я укажу в конце статьи.

Для начала в общих чертах об устройстве бакулы. Она состоит из пяти частей, каждая из которых может быть установлена на отдельном компьютере:

1) директор - собственно самая главная часть, которая координирует действия остальных четырех частей, он же формирует задания на бэкап.

2) сервер хранения - как видно из названия, он занимается хранением резервных копий. В нашем случае будет на одном компьютере с директором.

3) клиент, он же файловый сервер. Устанавливается на резервируемой машине. Получая задание от директора, создает резервную копию и передает ее серверу хранения.

4) Консоль управления - ставится на компьютере администратора. Из названия все понятно.

5) Монитор - позволяет следить за состоянием остальных компонент бакулы. Тоже ставится на комп администратора. Я не буду о нем ничего писать.

В конфигах в качестве адресов компьютеров используются FQDN, так что не должно быть проблем с разрешением имен. Также нельзя использовать localhost.

Чтобы не возникало путаницы, я сразу опишу все участвующие в эксперименте компьютеры. У нас будут задействованы три машины, не считая рабочего места администратора с консолью управления:

1) backup. Это сервер bacula - (FreeBSD 7.0 amd64).Здесь будут стоять директор и сервер хранения.

2) dc - резервируемый сервер - компьютер (FreeBSD 7.0 amd64), на котором мы установим клиентскую часть. На этом компьютере в каталоге /usr/jails крутятся несколько jail'ов, этот каталог полностью и будем резервировать.

3) pdc - файл-сервер под Windows 2000 SP4 с базой семерки 1ски.

Устанавливаем бакулу на сервере:

backup# cd /usr/ports/sysutils/bacula-server backup# make install clean

В окошечке выбираем поддержку MySQL и NLS.

Он за собой притащит mysql-client'а. Сервер надо ставить отдельно:

Код: Выделить всё

backup# cd /usr/ports/databases/mysql50-server backup# make install clean

Настраиваем MySQL сервер, как написано здесь.

Запускаем MySQL сервер и проверяем, запустился ли: backup# echo 'mysql_enable="YES"' >> /etc/rc.conf backup# /usr/local/etc/rc.d/mysql-server start Starting mysql. backup# sockstat | grep sqlmysql    mysqld     811   10 tcp4   *:3306                *:* mysql    mysqld     811   12 stream /tmp/mysql.sock backup#

Теперь в MySQL надо создать базу данных bacula, пользователя bacula и таблицы, где bacula будет хранить свои данные. Для этого в /usr/local/share/bacula есть специальные скрипты:

backup# /usr/local/share/bacula/grant_mysql_privileges ... backup# /usr/local/share/bacula/create_mysql_database Creation of bacula database succeeded. backup# /usr/local/share/bacula/make_mysql_tables Creation of Bacula MySQL tables succeeded. backup#

Создаем каталог, куда будем писать копии и даем к нему доступ бакуле:

backup# mkdir /mnt/disk1 backup# chown bacula:bacula /mnt/disk1 backup# mount /dev/ad4s1d /mnt/disk1

Обратите внимание, у меня это отдельный раздел. В статье бакула будет настроена таким образом, что старые копии будут удаляться только тогда, когда не станет хватать места под новые. То есть в какой-то момент бэкапы займут раздел целиком, поэтому под это дело нельзя заюзать какой-нибудь /var или /usr.

Настраиваем сервер хранения.

Копируем дефолтовый конфигурационный файл:

backup# cp /usr/local/etc/bacula-sd.conf.sample /usr/local/etc/bacula-sd.conf

Правим до следующего состояния:

## Конфиг сервера хранения бакулы## Описываем storage server Storage {   Name = backup-sd               # Имя   SDPort = 9103                  # Порт, где будем ждать подключения директора# Всякая прочая служебная хрень   WorkingDirectory = "/var/db/bacula"   Pid Directory = "/var/run"   Maximum Concurrent Jobs = 20   Heartbeat Interval = 30 sec    # Без этого параметра у меня сервер после                                  # запуска задания на выполнение переставал                                  # отвечать на пинги. Сами задания через раз                              # завершались с ошибкой connection reset by peer }  # Список директоров, которым разрешен доступ к этому серверу хранения# А нашем случае - один Director {   Name = backup-dir        # Имя директора   Password = "secret"      # Пароль }  # Определяем устройство, на который будем писать бэкапы.# Это может быть лента, dvd, или, как в нашем случае,# жесткий диск. Device {   Name = backup-disk1-device          # Имя   Media Type = File           # Здесь указываем, что будем бэкапить на винт   Archive Device = /mnt/disk1         # Собственно, каталог для бэкапов   LabelMedia = yes;                   # Разрешить бакуле размечать тома. В моем                                       # случае он все равно почему-то просил                                       # размечать вручную   Random Access = Yes;                #   AutomaticMount = yes;               # Автоматически монтировать девайс   RemovableMedia = no;                ## Здесь описываем, что будем делать с сообщениями сервера хранения# Будем отправлять их все директору. Messages {   Name = Standard   director = backup-dir = all } 

Теперь настраиваем директор. Копируем файл настроек:

backup# cp /usr/local/etc/bacula-dir.conf.sample /usr/local/etc/bacula-dir.conf

Предупреждаю: файл получится достаточно громоздким (у меня на бэкап десяти серверов он вышел больше 800 строк), поэтому надо заранее продумать структуру. Особенное внимание стоит уделить системе названий ресурсов, иначе очень легко запутаться.

## Bacula Director Configuration file#  ################################## # Глобальные настройки директора # ################################### Director {   Name = backup-dir                   # Имя   DIRport = 9101                      # Порт, который слушает директор   QueryFile = "/usr/local/share/bacula/query.sql"   WorkingDirectory = "/var/db/bacula" # Рабочий каталог   PidDirectory = "/var/run"           #   Maximum Concurrent Jobs = 1         # Максимальное количество                                       # параллельных заданий. Очень не                                       # рекомендуется одновременно записывать                                       # несколько заданий в один пул.   Password = "secret"                 # Пароль для подключения консоли   Messages = Daemon                   # Набор настроек для отправки сообщений }  # Дефолтовое задание на восстановление# Нужно как минимум одно. Job {   Name = "RestoreFiles"   Type = Restore   Client=dc-fd   FileSet="dc-usr_jails-set"   Storage = backup-disk1-storage   Pool = dc-usr_jails-pool   Messages = Daemon   Where = /mnt/disk1/bacula-restores }  ################################# # Резервирование jail'ов на DC  # ################################### Определяем задание.# Job {   Name = "dc-usr_jails-job"         # Имя задания   Type = Backup                     # Тип (backup, restore и т.д.)   Level = Incremental               # Уровень бэкапа   Client = dc-fd                    # Имя клиента# Дальше идут используемые ресурсы, которые будут определены ниже.   FileSet = "dc-usr_jails-set"      # Набора файлов для сохранения.   Schedule = "WeeklyCycle-1hrs-sun" # Расписание   Storage = backup-disk1-storage    # Файловое хранилище   Messages = Daemon                 # Поведение уведомлений   Pool = dc-usr_jails-pool          # Пул, куда будем писать бэкапы   Priority = 10                     # Приоритет. Давая заданиям приоритеты от 1                                     # 10, можно регулировать последовательность                                     # выполнения.# А этот хитрый файл позволит вам восстановить копии в случае каких-либо# проблем с sql-каталогом   Write Bootstrap = "/var/db/bacula/dc-usr_jails-job.bsr" }  # Определение списка резервируемых файлов FileSet {   Name = "dc-usr_jails-set"        # Имя списка   Include {     Options {       signature = MD5     }     File = /usr/jails              # Указываем каталог, который будем бэкапить   } }  # Pool - описание набора  устройств хранение# В каждый пул будет входить несколько томов. Регулировать, в какой конкретно# том бакула будет писать задание нельзя. Я хотел, чтобы каждое задание# у меня писалось в отдельный файл, поэтому на каждый backup job у меня# будет отдельный пул. Pool {   Name = dc-usr_jails-pool            # Имя пула   Pool Type = Backup                  # Тип пула   Recycle = yes                       # Автоматически менять тома.   AutoPrune = yes                     # Автоматическое удаление из БД заданий с                                       # истекшим сроком годности.   Volume Retention = 365 days         # Срок, по истечении которого тома будут                                       # удаляться из пула. }  ######################## # Определения клиентов # ######################### Определение клиента dc Client {   Name = dc-fd                     # Имя клиента   Address = dc.office.local # адрес   FDPort = 9102                    # Порт, на котором клиент нас ждет   Catalog = "default"              # Каталог в MySQL   Password = "secret"              # Пароль к клиенту   File Retention = 30 days         # Период, на протяжении которого в каталоге                        # будет храниться инфа о файлах этого клиента   Job Retention = 3 months         # То же, только о заданиях этого клиента   AutoPrune = yes                  # Удалять из каталога                                    # данные о файлах и заданиях, срок хранения                                    # которых истек. }  ###################################### # Определения файловых хранилищ.     # # По одному на device, определенный  # # в настройках серверов хранения     # ####################################### Определение файлового хранилища на первом диске# сервера backup Storage {   Name = backup-disk1-storage          # Имя. Будет использоваться в                                        # определениях job   Address = backup.office.local.ru # Адрес сервера хранения. Настоятельно не                                        # рекоендуется использовать localhost   SDPort = 9103                        # Порт, где file storage нас ждет   Password = "secret"                  # Пароль к нему   Device = backup-disk1-device         # Устройство. Должно быть определено                                        # в настройках секции Device сервера   хранения   Media Type = File                    # Файл, диск, лента и т.д. }  ########################## # Определения расписаний # ########################### Недельное расписание на запуск в час ночи.# c полными и дифференциальными бэкапами по воскресеньям# Для серверов, создающих отчеты и с 23 до 24 часов.# Полный бэкап делается в 1:00 каждое 1-е воскресенье месяца# Дифференциальный бэкап делается в 1:00 во 2,3,4 и 5 воскресенье месяца# Инкрементальный бэкап делается в 1:00 с понедельника по субботу.# Schedule {   Name = "WeeklyCycle-1hrs-sun"   Run = Full 1st sun at 1:00   Run = Differential 2nd-5th sun at 1:00   Run = Incremental mon-sat at 1:00 }  ############################### # Другие определения ресурсов # ################################ Catalog - описание каталога в БД, где будут храниться данные. Catalog {   Name = default # Имя# Данные для доступа к БД в MySQL. Имя базы, логин и пароль.   dbname = "bacula"; dbuser = "bacula"; dbpassword = "" }  # Определение шаблонов сообщений. Я все шлю в syslog.# Можно отправлять по почте,# бакула даже тащит с собой софтинку bsmtp. Messages {   Name = Daemon   syslog = all }  # Определение пула scratch. Для служебной надобности. Pool {   Name = Scratch   Pool Type = Backup } 

Можно протестировать наши конфигурационные файлы на предмет каких-нибудь ошибок:

backup# bacula-sd -t -d /usr/local/etc/bacula-sd.conf backup# bacula-dir -t -d /usr/local/etc/bacula-dir.conf backup#

Запускаем серверную часть:

backup# echo 'bacula_dir_enable="YES"' >> /etc/rc.conf backup# echo 'bacula_sd_enable="YES"' >> /etc/rc.conf backup# /usr/local/etc/rc.d/bacula-dir start Starting bacula_dir. backup# /usr/local/etc/rc.d/bacula-sd start Starting bacula_sd. backup# sockstat | grep bacu bacula   bacula-dir 37450 5  tcp4   *:9101                *:* bacula   bacula-sd  34267 3  tcp4   *:9103                *:* backup#

Вроде все нужные порты слушаются.

Теперь идем на компьютер DC и устанавливаем бакула-клиента:

dc# cd /usr/ports/sysutils/bacula-client dc# make install clean

В окошечке выбираем NLS.

Как водится, переименовываем конфигурационный файл:

dc# cp /usr/local/etc/bacula-fd.conf.sample /usr/local/etc/bacula-fd.conf

Правим конфиг:

## Конфа клиентской части бакулы### Список директоров, которые могут управлять этим клиентом# Director {   Name = backup-dir   Password = "secret" }  ## Глобальные настройки клиента# FileDaemon {   Name = platform2-fd           # Имя   FDport = 9102                 # Порт, на котором мы ждем директора# Всякая служебная информация   WorkingDirectory = /var/db/bacula   Pid Directory = /var/run   Maximum Concurrent Jobs = 20 }  # Сообщения, отправляемые директору Messages {   Name = Standard   director = backup-dir = all, !skipped, !restored } 

Проверяем и запускаем:

dc# bacula-fd -t -d /usr/local/etc/bacula-fd.conf dc# echo 'bacula_fd_enable="YES"' >> /etc/rc.conf dc# /usr/local/etc/rc.d/bacula-fd start Starting bacula_fd. dc# sockstat | grep bacu root     bacula-fd  67621 3  tcp4   *:9102                *:* 

Консоль управления, тянется вместе с bacula-client. Если у вас на админском рабочем месте FreeBSD, надо установить клиент. Затем копируем конфиг.

dc# cp /usr/local/etc/bconsole.conf.sample /usr/local/etc/bconsole.conf

Рихтуем:

## Конфиг консоли#  Director {   Name = backup-dir   DIRport = 9101   address = backup.office.local.ru   Password = "secret" } 

Запускается командой bconsole. Если появилась звездочка, значит все ок - у нее такое приглашение командной строки. Можно набрать help, он покажет список команд. Можно также установить консоль управления на рабочую станцию с windows. Скачать можно здесь на офсайте www.bacula.org. В процессе установки надо будет ввести имя директора, адрес и порт. После этого можно юзать графическую консоль и обычную, которые, впрочем не сильно отличаются как друг от друга, так и от bconsole. Итак, вводим команду status all. Он опросит всех директоров, клиентов и storage server и выдаст информацию о запущенных и выпоненных заданиях. Если нет ошибок, значит двигаемся дальше.

Попробуем что-нибудь забэкапить. Для этого надо в консоли администрирования бакулы ввести команду run <имя_задания_на_бэкап>. Можно просто run, тогда появится список заданий, которые можно запустить. Если вы все делали по моим конфигам, то должно появиться два задания - под номером 1 будет dc-usr_jails-job. Вводим 1. Все. Теперь если ввести status client=dc-fc, то будет выведена информация, что на данном клиенте сейчас выполняется резервное копирование. Подождем некоторое время, пока оно не закончится.

Теперь пробуем восстановить. Запускаем консоль и вводим следующее:

*restore Automatically selected Catalog: Default Using Catalog "Default"  First you select one or more JobIds that contain files to be restored. You will be presented several methods of specifying the JobIds. Then you will be allowed toselect which files from those JobIds are to be restored.  # Предлагается выбрать действиеTo select the JobIds, you have the following choices:      1: List last 20 Jobs run      2: List Jobs where a given File is saved      3: Enter list of comma separated JobIds to select      4: Enter SQL list command      5: Select the most recent backup for a client      6: Select backup for a client before a specified time      7: Enter a list of files to restore      8: Enter a list of files to restore before a specified time      9: Find the JobIds of the most recent backup for a client     10: Find the JobIds for a backup for a client before a specified time     11: Enter a list of directories to restore for found JobIds     12: Cancel  # Выбираем указать ему конкретное задание на бэкап,#созданную которым копию будем восстанавливать.Select item:  (1-12): 3# Здесь надо указать ему ID задания на резервирование.# Узнать ID заданий можно было, выбрав в предыдущем меню пункт 1.# Я указываю ему ID моего последнего задания на бэкап. Enter JobId(s), comma separated, to restore: 8 You have selected the following JobId: 8  Building directory tree for JobId 8 ...    ++++++++++++++++++++++++++++++++++++++++++++++++ 1 Job, 464,077 files inserted into the tree.  You are now entering file selection mode where you add (mark) andremove (unmark) files to be restored. No files are initially added, unless you used the "all" keyword on the command line. Enter "done" to leave this mode.  # Теперь мы попали в корень дерева каталогов нашей резервной копии.# Двигаясь по дереву командой cd, переходим в нужный каталог. # Список доступных команд вызывается командой help cwd is: / $ cd /usr/jails/localweb/etc Invalid path given. cwd is: / $ cd /usr/jails/ cwd is: /usr/jails/ $ ls dc1/ domain/ test/ weblocal/ $ cd weblocal cwd is: /usr/jails/weblocal/ $ cd etc cwd is: /usr/jails/weblocal/etc/ # Командой mark отмечаем файл или каталог, который мы собираемся # восстановить. Я, например, собираюсь восстановить файл rc.conf# одного из своих джэйлов. $ mark rc.conf 1 file marked. # Командой done завершаем выбор файлов $ done Bootstrap records written to /var/db/bacula/backup-dir.restore.4.bsr  The job will require the following    Volume(s)                 Storage(s)                SD Device(s) ===========================================================================     backup-dc                 File                      backup-sd   1 file selected to be restored.  Automatically selected Client: dc-fd Run Restore job JobName:         RestoreFiles Bootstrap:       /var/db/bacula/backup-dir.restore.4.bsr Where:           /mnt/disk1/bacula-restores Replace:         always FileSet:         DC Jails Backup Client:   dc-fd Restore Client:  dc-fd Storage:         File When:            2008-09-11 18:28:10 Catalog:         BaculaCatalog Priority:        10# Бакула на всякий случай переспрашивает, согласны ли мы на восстановление.# Конечно согласны.OK to run? (yes/mod/no): yes Job queued. JobId=15 You have messages. * 

Проверяем, что получилось. Идем на клиентский компьютер и смотрим каталог, указанный нами в определении задания RestoreFiles в конфиге директора:

dc# ls /mnt/disk1/bacula-restores usr dc# ls /mnt/disk1/bacula-restores/usr/jails/weblocal/etc rc.conf dc#

Вроде все получилось. Естественно, это не все возможности по восстановлению из бэкапа, которое в бакуле устроено достаточно гибко. Читайте документацию.

Теперь попробуем забэкапить windows-машину.

Устанавливаем клиента на windows. Надеюсь, проблем не возникнет  В окне Choose Components надо выбрать Client, потом указать порт, имя клиента (у меня pdc-fd) и пароль. Если есть желание, можно поправить conf-файл, который можно найти в Пуск->Программы->Bacula->Configuration. Теоретически клиент должен запуститься службой.

Теперь добавляем в конфиг директора следующее:

#################################################### # Резервирование базы данных 1С-бухгалтерии на PDC ####################################################### Определяем задание.# Job {   Name = "pdc-1c-job"                   # Имя задания   Type = Backup                         # Тип (backup, restore и т.д.)   Level = Incremental                   # Уровень бэкапа   Client = pdc-fd                       # Имя клиента   FileSet = "pdc-1c-set"                # Определение набора файлов   Schedule = "WeeklyCycle-1hrs-sun"     # Расписание   Storage = backup-disk1-storage        # Указываем файловое хранилище   Messages = Daemon                     # Уведомления   Pool = pdc-1c-pool                    # Пул, куда будем писать бэкапы   Priority = 10                         # Приоритет   Write Bootstrap = "/var/db/bacula/pdc-1c-job.bsr" }  # Определение списка резервируемых файлов FileSet {   Name = "pdc-1c-set"               # Имя списка   Include {     Options {       compression = GZIP            # Сжимаем на стороне клиента                                     # Обратите внимание, в бэкапе dc                                      # этого не было       signature = MD5     }     File = "F:/1C"   } }  # Pool - описание набора  устройств хранение Pool {   Name = pdc-1c-pool                  # Имя пула   Pool Type = Backup                  # Тип пула   Recycle = yes                       #    AutoPrune = yes                     # Prune expired volumes   Volume Retention = 365 days         # one year }  # В раздел определений клиентов добавляем следующее:# Определение клиента pdc Client {   Name = pdc-fd                           # Имя клиента   Address = pdc.office.local       # адрес   FDPort = 9102                           # Порт, на котором клиент нас ждет   Catalog = "default"                     # Каталог в MySQL   Password = "secret"                     # Пароль к клиенту   File Retention = 30 days   Job Retention = 3 months   AutoPrune = yes } 

Перезапускаем директора.

Теперь заходим в консоль администрирования. Для начала проверим, подцепился ли наш новый клиент:

Пробуем забэкапить винду. Я специально положил в папку, которую мы планируем резервировать, файл с русским именем. Итак, вводим в консоли

Теперь попытаемся восстановить данные. В FreeBSD я запускаю консоль, вводим restore и все как в прошлый раз. Остановимся на моменте выбора файлов для восстановления:

Вместо файла с русским именем иероглифы, что не удивительно, поскольку консоль фри не cp1251. Пробуем восстановить весь каталог 1C.

Смотрим, восстановил ли:

Восстановил. И даже русское имя файла. Стоит заметить, что с фри восстанавливать отдельные файлы с кириллическими именами неудобно, зато с виндовой консоли бакулы - нормально, там русские имена так, как они и должны быть.

При резервировании windows-серверов следует, однако, помнить, что bacula не сможет снять system state. В связи с этим на оффсайте предлагается замысловатая схема с комбинацией bacula и ntbackup, суть которой заключается в том, что ntbackup резервирует состояние системы, а бакула - все остальное, что нужно (%systemroot%, Program Files и т.д.). aks добыл описание на русском языке, как это сделать: ftp://ftp.lissyara.su/BOOKS/OTHER/Bacula_PDC_backup.pdf. Есть еще более хитрый вариант с использованием dd.

Собственно, все. Как я уже говорил, это только самое необходимое, я не стал освещать множество важных моментов. Например, саму мускульную базу бакулы по-хорошему тоже надо бэкапить. Кроме того, она требует некоторого обслуживания. Впрочем, обо всем вы можете почитать на этих ресурсах:

http://www.bog.pp.ru/work/bacula.html

http://www.bacula.org/en/?page=documentation

http://www.freebsddiary.org/bacula.php

статья про бакулу на хабрахабре

И краткая документация на русском он Santa Claus'а: ftp://ftp.lissyara.su/BOOKS/OTHER/Short_Doc_Bacula.pdf

Еще пара ссылок в тему с этого сайта:

Сетевая система резервного копирования amanda

Резервное копирование с помощью dump

Синхронизаци каталогов через сеть с помощью rsync. Некоторые используют его также для резервного копирования.

PS Если у кого-то возникнет вопрос, почему мы дважды ставим level backup'а - в описании job'а и в разделе schedule директора, то ответ на него такой: в дефолтном конфиге так, а поскольку все работало, я не стал менять. Как выяснил Дмитрий Рукавцов, значение в schedule имеет более высокий приоритет, в чем можно удостовериться по этой ссылке.

PPS Я забыл добавить, что перед использованием бакулы надо разметить тома командой label из консоли, иначе не будет работать. Или можно настроить авторазметку. Она у меня не заработала с первого раза, поэтому в статье про нее нет. однако потом выяснилось, что работает (может из-за того, что я начал юзать третью версию?) Как сделать - читайте в комментариях к статье.

PPPS То ли из-за версии, то ли еще из-за чего-то бакула после заполнения всего раздела выдает error и не пишет резервных копий, вместо того, чтоб удалять старые данные. Когда я писал статью, такого почему-то не было. Как избежать этой неприятной ситуации - читайте документацию по ссылкам. Я в ближайшее время, как дойдут руки, собираюсь написать вторую версию статьи, где будет описана и нормальная ротация бэкапов.