Описание курса

Курс посвящен задачам обработки текста и последовательностей методами глубокого обучения. Является продолжением начального курса об искусственных нейронных сетях, а также частью семинара по нейронным сетям и тропической математике.

Требования к студентам

Знание теоретических основ глубокого обучения: темы занятий 1-7 из предыдущего курса. Желательно владение языком Python 3 для решения стандартных задач с помощью библиотек keras, tensorflow или pytorch. Приветствуется, но не является обязательным знание основ теории вероятностей и статистики.

Содержание курса

1. Введение в обработку естественных языков. Основные задачи и сложности.

2. Предобработка текста. word2vec, embending и прочие методы.

3. Введение в рекуррентные нейронные сети. Обзор архитектур GRU и LSTM.

4. Механизмы внимания в нейронных сетях.

5. Трансформер и self-attention.

Материалы курса

Записи лекций выкладываются в документе семинара. Плейлист лекций. Презентации и примеры расположены в репозитории курса.

Контакты

Почта: maximolifer00@gmail.com

Telegram: @maximolifer

ВК