Обработка текста ИНС
ОБЪЯВЛЕНИЯ
ОБЪЯВЛЕНИЯ
Описание курса
Описание курса
Курс посвящен задачам обработки текста и последовательностей методами глубокого обучения. Является продолжением начального курса об искусственных нейронных сетях, а также частью семинара по нейронным сетям и тропической математике.
Требования к студентам
Требования к студентам
Знание теоретических основ глубокого обучения: темы занятий 1-7 из предыдущего курса. Желательно владение языком Python 3 для решения стандартных задач с помощью библиотек keras, tensorflow или pytorch. Приветствуется, но не является обязательным знание основ теории вероятностей и статистики.
Содержание курса
Содержание курса
- Введение в обработку естественных языков. Основные задачи и сложности.
- Предобработка текста. word2vec, embending и прочие методы.
- Введение в рекуррентные нейронные сети. Обзор архитектур GRU и LSTM.
- Механизмы внимания в нейронных сетях.
- Трансформер и self-attention.
Материалы курса
Материалы курса
Записи лекций выкладываются в документе семинара. Плейлист лекций. Презентации и примеры расположены в репозитории курса.