Курс "Глубокое обучение"
(2018 г., 2019 г.)
В курсе изучаются вопросы построения и анализа качества работы глубоких нейронных сетей на базе библиотеки глубокого обучения Caffe.
Рассматриваются следующие вопросы:
Введение в глубокое обучение.
Многослойные полностью связанные нейронные сети.
Библиотеки глубокого обучения.
Сверточные нейронные сети. Глубокие остаточные сети.
Визуализация и интерпретация признаков в сверточных нейронных сетях.
Обучение без учителя: автокодировщики, разверточные сети.
Рекуррентные нейронные сети.
Перенос обучения глубоких нейронных сетей.
Практика по курсу строится следующим образом: слушатели распределяются на группы по 2-3 человека. Каждая из групп получает отдельную учебную задачу и пытается достичь максимального качества, выполняя построение различных типов глубоких архитектур и модифицируя их внутреннюю структуру. Имитируется режим коллективной разработки. Итоговый контроль знаний включает защиту разработанного проекта с демонстрацией показателей качества работы различных типов глубоких сетей.
Материалы курса:
Лекция 1. Введение в глубокое обучение (deep learning).
(Презентация, Текстовое описание)
Лекция 2. Многослойные полностью связанные сети (Fully-Connected Neural Networks, FCNN).
(Презентация, Текстовое описание)
Лабораторная работа №1. Реализация метода обратного распространения ошибки для двуслойной полностью связанной сети.
(Текстовое описание постановки задачи)
Лекция 3. Обзор библиотек глубокого обучения. Разработка сети, соответствующей логистической регрессии, на примере задачи распознавания рукописных цифр.
(Презентация, Текстовое описание)
Лабораторная работа №2. Разработка полностью связанной нейронной сети с использованием одной из библиотек глубокого обучения для решения некоторой заданной задачи. Проведение экспериментов с разным количеством скрытых слоев и числом скрытых элементов на каждом слое. Сбор результатов качества работы сетей.
(Текстовое описание постановки задачи)
Лекция 4. Сверточные нейронные сети.
(Презентация, Текстовое описание)
Лабораторная работа №3. Разработка сверточной нейронной сети для решения той же задачи, что и в предыдущей лабораторной работе. Проведение экспериментов с разными конфигурациями сверточных нейронных сетей. Сбор результатов качества работы сетей.
(Текстовое описание постановки задачи)
Лекция 5. Визуализация и интерпретация признаков в сверточных нейронных сетях.
(Презентация, Текстовое описание)
Лекция 6. Обучение без учителя.
(Презентация, Текстовое описание)
Лабораторная работа №4. Начальная настройка весов разработанных ранее нейронных сетей. Проведение экспериментов. Сбор результатов качества работы сетей с предварительной настройкой весов.
(Текстовое описание постановки задачи)
Лекция 7. Рекуррентные нейронные сети (Recurrent Neural Network, RNN) и их развитие.
(Презентация, Текстовое описание)
Лекция 8. Перенос обучения (transfer learning) глубоких нейронных сетей.
(Презентация, Текстовое описание)
Лабораторная работа №5. Применение переноса обучения для решения задачи, поставленной в ходе второй лабораторной работы. Проведение экспериментов с сетями, существующими для решения классических задач. Сбор результатов качества работы сетей с предварительной настройкой весов.