Проектирование нейросетевых систем
Перечень вопросов к экзамену
1. Дайте определение алгоритма обучения.2. Приведите формулу нейрона Маккаллока - Питса-Хехт-Нильсона.3. Дайте описание задач Т.4. Дайте описание метрики производительности Р.5. Дайте описание опыта Е.6. Алгоритм обучения с учителем, без учителя.7. Алгоритм обратного распространения ошибки.8. Алгоритм оптимизации AdaGrad.9. Алгоритм оптимизации RMSProp.10. Алгоритм оптимизации с моментом.11. Алгоритм оптимизации Adam.12. Алгоритм оптимизации стохастического градиентного спуска.13. Что такое гиперпараметры, приведите пример гиперпараметров.14. Что такое свертка, как она применяется в нейронных сетях.15. Свойства свертки.16. Что такое разделение параметров.17. Что такое разреженные взаимодействия.18. Что такое эквивариантные изменения.19. Этапы работы сверточного слоя.20. Дайте определение пулинга.21. Дайте определение регуляризации.22. Дайте определение Dropout.23. Дайте определение функции потери.24. Кросс-энтропия, как функция потери.25. Метод наименьших квадратов, как функция потери.26. Биологические основания сверточного слоя.27. Что такое архитектура нейронной сети.28. Алгоритм оптимизации Nesterov.29. Понятие временного ряда (ВР). Примеры ВР. Цель анализа ВР. 30. Стационарность ВР. Анализ во временной и частотной области.31. Использование однослойного персептрона для прогнозирования временного ряда. Преимущества и недостатки подхода.32. Понятие рекуррентных нейронных сетей. Структурная схема RNN.33. Особенности обучения рекуррентных нейросетей. Проблема затухающих и взрывных градиентов.34. LSTM сети. Преимущества LSTM по сравнению с RNN. 35. Решение проблемы исчезающих градиентов в LSTM. Начальная инициализация параметров.36. Возможные модификации LSTM. Их преимущества и недостатки.37. Упрощения LSTM. GRU (Gated recurrent unit) сети.38. Для чего необходима предобработка текста? Перечислите виды предобработки текста. 39. Какие существуют способы разбиения текста на части? Что такое N-граммы? 40. Что такое стемминг? Опишите алгоритм стеммера Портера. 41. В чем заключается смысл представления в виде векторной модели (vector space model)? Как вычисляются коэффициенты для bag-of-words и TF-IDF? 42. В чем заключается векторное представление слов (word embedding). 43. В чем заключается оценка точности классификации F1- score? 44. Для чего используются сверточные слои нейронных сетей при анализе текста? 45. Какие свойства рекуррентных и LSTM слоев обуславливают их широкое применение для анализа текста?46. CBoW и Skip-Gram embedding.47. LSI и SSI модели для ранжирования текста.48. WARP функция потери.49. Автоэнкодер: структура и применения50. Вариационный автоэнкодер и его отличие от классического автоэнкодера. Вариационный вывод.51. t-SNE алгоритм уменьшения размерности.Национальная стратегия развития искусственного интеллекта на период до 2030 года (обязательно к прочтению!)
Указ Президента РФ от 10 октября 2019.pdfГОСТ Р 59277-2020 «Системы искусственного интеллекта. Классификация систем искусственного интеллекта»
объём 16 страниц, вступил в силу с 01.03.2021 года
Образец титульного листа лабораторной работы и ДЗ
Основная и дополнительная литература по курсу «Интеллектуальные системы"
Основная
1. Николенко С.И., Кадурин А.А., Архангельская Е.О. Глубокое обучение. – Издательский дом "Питер", 2017. — 480 с.: ил. — (Серия «Библиотека программиста»). http://ebooks.bmstu.ru/catalog (дата обращения: 21.05.2018) ISBN 978-5-496-02536-2.
Дополнительная
1. Гудфеллоу Я., Иошуа Б., Курвилль А. Глубокое обучение. – Litres, 2018.
2. Франсуа Ш. Глубокое обучение на Python. – " Издательский дом"" Питер""", 2018.
3. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. – Litres, 2019.
4. Девятков В.В. Системы искусственного интеллекта. М.: Изд-во МГТУ им. Баумана, 2001. 352 с.
5. Рыбина Г.В. Основы построения интеллектуальных систем // М.: Финансы и статистика, Инфра-М, 2010. 432 с.
6. Люгер Джордж Ф. "Искусственный интеллект. Стратегии и методы решения сложных проблем". М. Издательский дом "Вильямс", 2005 - 864 стр.
7. Хайкин С. Нейронные сети: полный курс, 2-е издание. – Издательский дом Вильямс, 2008.
8. Sedgewick R., Flajolet F. An Introduction to the Analysis of Algorithms (2nd Edition), 2013, s. 3-26.
9. Макаров И. М. Искусственный интеллект и интеллектуальные системы управления / И. М. Макаров, В. М. Лохин, С. В. Манько; отделение информационных технологий и вычислительных систем РАН. – М.: Наука, 2006. С. 30-31.
10. A. Li, L. Liu, K. Wang, S. Liu and S. Yan, "Clothing Attributes Assisted Person Reidentification," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 5, pp. 869-878, May 2015.
11. E. S. Jaha and M. S. Nixon, "From Clothing to Identity: Manual and Automatic Soft Biometrics," in IEEE Transactions on Information Forensics and Security, vol. 11, no. 10, pp. 2377-2390, Oct. 2016.
12. Стюарт Рассел (Stuart Russell) и Питер Норвиг (Peter Norvig) Искусственный интеллект: современный подход (AIMA), 2-е издание (Artificial Intelligence: A Modern Approach, 2nd Edition), 2007 - 1408 стр.
13. Veit A. et al. Learning visual clothing style with heterogeneous dyadic co-occurrences //Proceedings of the IEEE International Conference on Computer Vision. – 2015. – С. 4642-4650.
Перечень ресурсов сети интернет, рекомендуемых для самостоятельной работы при освоении дисциплин
1. Сайт библиотеки МГТУ им. Н.Э. Баумана: http://library.bmstu.ru
2. Сайты кафедры ИУ5 «Системы обработки информации и управления»:
a. http://e-learning.bmstu.ru/portal_iu5/
3. Сайт веб-консорциума: https://www.w3.org/
4. TensorFlow: Библиотека программного обеспечения с открытым исходным кодом для Machine Intelligence https://www.tensorflow.org/
5. Caffe - основы глубокого обучения http://caffe.berkeleyvision.org
6. Keras: библиотека глубокого обучения Python https://keras.io/
7. Массовый открытый образовательный курс Udacity «Введение в искусственный интеллект» / Питер Норвиг, Дэвид Тран (Intro to Artificial Intelligence / Peter Norvig, Sebastian Thrun) http://www.udacity.com/course/cs271
8. Массовый открытый образовательный курс Coursera «Нейронные сети в обучении машин» (Geoffrey Hinton ) http://www.coursera.org/course/neuralnets
9. Массовый открытый образовательный курс Coursera «Разработка технологии искусственного интеллекта» / Gerhard Wickler, Austin Tate https://www.coursera.org/course/aiplan
10. Дистанционные учебные курсы Национального открытого университета «ИНТУИТ» в области искусственного интеллекта http://www.intuit.ru/studies/courses?service=0&option_id=17&service_path=1