Intellectual Data Analysis/Інтелектуальний Аналіз Даних

Курс складається з 15 лекцій і 8 практичних занять. Матеріал лекцій 1–10 становить основу практичної частини: студенти реалізують і навчають моделі, порівнюють результати та аналізують їхню роботу. У лекціях 11–15 основний акцент — на ідеях і принципах побудови сучасних моделей. Для експериментів із доступними попередньо навченими моделями використовуємо екосистему Hugging Face.

2026

Lc 1. AI and Machine Learning: Foundations, Trends, and Course Overview pdf youtube 

Штучний інтелект і машинне навчання: основні поняття, сучасні тенденції та огляд курсу. Історія розвитку штучного інтелекту: від перших моделей до сучасних генеративних систем. Ключові напрями та приклади застосування AI. Структура курсу, практичні завдання та очікувані результати навчання.

Lc 2. Supervised Learning: From Regression to Classification pdf  youtube 

Навчання з учителем: від регресії до класифікації. Постановка задачі, навчальні й тестові дані, оцінювання якості моделей. Лінійна та логістична регресія, дерева рішень і метод k найближчих сусідів. Принципи роботи алгоритмів, їхні можливості та обмеження.

Lc 3. Supervised Learning: Support Vector Machines and Ensemble Methods pdf  youtube 

Навчання з учителем: метод опорних векторів та ансамблеві методи. Лінійна й нелінійна класифікація за допомогою SVM, роль ядрових функцій. Поєднання моделей в ансамблі: випадковий ліс (Random Forest) та AdaBoost. Наївний баєсів класифікатор. 

Lc 4. Unsupervised Learning: Discovering Structure in Data

Навчання без учителя: виявлення структури в даних. Кластеризація методами k-means, EM, агломеративної кластеризації та DBSCAN. Зниження розмірності за допомогою методу головних компонент (PCA). Візуалізація багатовимірних даних із t-SNE та інтерпретація отриманих результатів.

Lc 5. Natural Language Processing: From Text to Features

Обробка природної мови: від тексту до числових ознак. Очищення текстів, токенізація, лематизація та робота зі стоп-словами. Представлення текстових даних за допомогою «мішка слів» (Bag of Words) і TF-IDF. Латентний семантичний аналіз (LSA) та n-грамні мовні моделі.

Lc 6. Neural Network Foundations: Fully Connected Architectures

Основи нейронних мереж: повнозв’язні архітектури. Штучний нейрон, функції активації та багатошарові мережі прямого поширення. Навчання методом зворотного поширення помилки (backpropagation). Проблема згасання градієнтів, ініціалізація ваг і пакетна нормалізація (Batch Normalization).

Lc 7. Training Neural Networks: Optimization, Regularization, and Transfer Learning

Навчання нейронних мереж: оптимізація, регуляризація та перенесення навчання. Методи запобігання перенавчанню, зокрема dropout, рання зупинка та розширення даних. Градієнтні оптимізатори й керування швидкістю навчання. Використання попередньо навчених моделей. Автокодувальники та латентні представлення. Основні компоненти й цикл навчання мережі в PyTorch.

Lc 8. Convolutional Neural Networks: Building Blocks and Architectures

Згорткові нейронні мережі: основні блоки та архітектури. Згортка, об’єднання ознак (pooling) і формування ієрархічних представлень зображень. Архітектурні ідеї VGG, Inception, ResNet і MobileNet. Залишкові з’єднання та ефективні згортки. Використання попередньо навчених CNN для власних задач.

Lc 9. Recurrent Neural Networks: Modeling Sequences

Рекурентні нейронні мережі: моделювання послідовностей. Прихований стан і передавання інформації в часі. Архітектури RNN, LSTM та GRU, їхні можливості й обмеження. Опрацювання часових рядів і класифікація текстів. Векторні представлення слів (embeddings), Word2Vec та GloVe.

Lc 10. Transformers: Attention, BERT, and GPT

Трансформери: механізм уваги, BERT і GPT. Архітектура encoder–decoder, самоувага (self-attention) та багатоголова увага (multi-head attention). Позиційне кодування, маскування й взаємодія енкодера з декодером. Мовні моделі на основі енкодера та декодера, їх попереднє навчання й адаптація до задач. Дистиляція знань на прикладі DistilBERT.

Lc 11. Modern LLMs: Architecture, Efficient Inference, and Adaptation

Сучасні великі мовні моделі: архітектура, ефективне виконання та адаптація. Розвиток базового Transformer: RMSNorm, обертальні позиційні представлення (RoPE), SwiGLU та суміш експертів (Mixture of Experts). Обробка вхідного контексту й покрокова генерація тексту. Кешування ключів і значень (KV cache), Multi-Query та Grouped-Query Attention. Повне донавчання та низькорангова адаптація LoRA. Приклади архітектурних рішень у сімействах Llama та Qwen; суміш експертів і латентна увага (MLA) у DeepSeek-V2/V3.

Lc 12. Generative Models: GANs, VAEs, and Discrete Latent Representations

Генеративні моделі: GAN, VAE та дискретні латентні представлення. Генеративні змагальні мережі: взаємодія генератора й дискримінатора, принципи навчання, conditional GAN та DCGAN. Варіаційні автокодувальники: імовірнісне представлення даних, функція втрат і трюк репараметризації. Керована генерація з conditional VAE. Дискретний латентний простір і кодова книга у VQ-VAE.

Lc 13. Diffusion Models and Flow Matching

Дифузійні моделі та узгодження потоків (flow matching). Прямий процес додавання шуму й навчання зворотного процесу генерації. Принципи роботи DDPM та роль мережі передбачення шуму. Генерація в латентному просторі: latent diffusion на прикладі Stable Diffusion. Flow matching як навчання поля швидкостей, що переносить шум у дані. Побудова траєкторій, функція втрат і генерація через розв’язання звичайних диференціальних рівнянь.

Lc 14. Vision-Language Models and Diffusion Transformers

Візуально-мовні моделі та дифузійні трансформери. Представлення зображень за допомогою Vision Transformer (ViT). Самонавчання візуальних представлень на прикладі DINO/DINOv2. Контрастивне навчання й узгодження текстових і візуальних представлень у CLIP. Поєднання візуального енкодера з мовною моделлю на прикладі LLaVA, робота із зображеннями та документами. Архітектурні принципи генерації зображень за текстом на прикладі DALL·E. Diffusion Transformer (DiT): обробка латентних патчів, урахування часу й умов генерації.

Lc 15. Beyond Standard Architectures: State Space Models and Physics-Informed Learning

За межами стандартних архітектур: моделі простору станів та фізично-інформоване навчання. Різні способи представлення пам’яті та обробки послідовностей: механізм уваги, лінійна увага (linear attention) та моделі простору станів (SSM). Динаміка прихованого стану й перехід від неперервних моделей до дискретних обчислень. Вибіркове оновлення пам’яті в Mamba, огляд Mamba-2. Навчання нейромереж з урахуванням відомих закономірностей та обмежень: поєднання даних і математичних моделей у функції втрат. Основні ідеї PINNs, роль автоматичного диференціювання та приклади застосування.

2025

Lc 1. Exploring AI/ML: History, Current Trends, and Course Roadmap pdf  youtube 

Основні означення: машинне навчання та штучний інтелект. Історія та еволюція розвитку штучного інтелекту. Огляд сучасних моделей. Представлення силабусу курсу. 

Lc 2. Supervised Learning: Regression and Classification pdf  youtube 

Основні алгоритми навчання з учителем: Лінійна регресія, Логістична регресія, Дерева рішень, Метод k найближчих сусідів 

Lс 3. Supervised Learning: SVM, Ensembles (Random Forest, AdaBoost), Naive Bayes pdf  youtube 

Продовжуємо розглядати основні алгоритми керованого навчання: Метод опорних векторів (SVM), Ансамблеві методи: Random Forest та AdaBoost, Наївний баєсів класифікатор 

Lс 4. Unsupervised Learning: Clustering and Dimensionality Reduction pdf  youtube 

Основні алгоритми некерованого навчання: 1) кластеризації (K-means, EM, Agglomerative, DBSCAN); 2) зниження розмірності (PCA, t-SNE) 

Lc 5. Introduction to Natural Language Processing (NLP) pdf youtube 

Основні алгоритми обробки текстів :1) препроцесінг (очищення, токенізація, лематизація, стоп-слова); 2) векторизація текстів (Bag of Words, TF-IDF); 3) зниження розмірності — LSA (Latent Semantic Analysis); 4) n-gram Language Models 

Lc 6.   Artificial Neural Nets. Fully Connected (FC) Neural Nets pdf youtube 

Навчання нейромереж методом backpropagation. Проблема згасання градієнтів. Ініціалізація вагів. Batch Normalization

Lc 7. Training Deep Neural Nets pdf youtube 

Регуляризація. Методи оптимізації градієнтного спуску. Перенесення навчання (Transfer learning). Автокодувальники 

Lc 8. Convolutional Neural Nets (CNN) pdf youtube 

Основні поняття та складові блоки згорткових мереж. Найбільш відомі сучасні архітектури (VGG, Inception, ResNet, MobileNet) та можливості їхнього використання 

Lc 9. Recurrent Neural Nets (RNN) pdf youtube 

Опрацювання послідовностей (часових рядів). Архітектури LSTM та GRU. Класифікація текстів за допомогою рекурентних мереж. Word2Vec та Glove. 

Lc 10. Practical Applications of CNNs & RNNs pdf youtube 

Object detection, OCR, Triplet loss, Text generation, and Machine translation  

Lc 11. Transformers pdf youtube 

Архітектура Transformer (encoder-decoder), механізм внутрішньої уваги, мовні моделі, що базуються на цій архітектурі на прикладі BERT (encoder), GPU (decoder). Великі мовні моделі. Механізм дистиляції знань в нейромережах (DistilBERT) 

Lc 12.  Style Transfer and GANs pdf youtube 

Перенесення стилю зображення. Генеративні змагальні мережі (GAN). 

Lc 13. Variational Autoencoders and Diffusion models pdf youtube 

Варіаційний автокодувальник (VAE). Обумовлений VAE. VQ-VAE.  Дифузні моделі. Пряма та обернена дифузія. Латентна дифузія. 

Lc 14.  Vision-Language Models pdf youtube 

Трансформер для опрацювання зображень (ViT). Навчання на контрастах. Архітектура CLIP. Генерація зображень за текстовим описом: DALL-Е-1, GLIDE, DALLE-2 

Lc 15.  Post-Transformer Architectures pdf  youtube 

Linear Attention • RWKV • Mamba • Titans

2024

Lc 1. Вступ. pdf youtube 

Основні означення. Машинне навчання, штучний інтелект. Еволюція штучного інтелекту. Загальний огляд сучасних моделей. Силабус. 

Lc 2. Кероване навчання. pdf youtube 

Лінійна регресія. Поліноміальна регресія. L1 та L2 регуляризація. Методи класифікації. Показники ефективності моделей класифікації. Логістична регресія. Дерево ухвалення рішень. Метод к-ближніх сусідів. 

Lc 3. Кероване навчання. pdf youtube 

Метод опорних векторів. Ансамблеве навчання: Random Forest, AdaBoost, Gradient Boost

Lc 4. Кероване та некероване навчання  pdf youtube 

Наївний баєсів класифікатор. Задачі кластеризації: метод к-середніх, методи оцінки якості кластеризації.

Lc 5. Некероване навчання  pdf  youtube 

Кластеризація: ЕМ алгоритм, ієрархічна кластеризація та DBSCAN. Методи зниження розмірності: PCA та TSNe 

Lc 6. Методи обробки природної мови (NLP)  pdf youtube 

Передобробка текстових даних. Векторизація слів за їх частотою та TF-IDF векторизація. Тематичне моделювання (LSA). Побудова n-gram-них мовних моделей.  

Lc 7.   Штучні нейронні мережі. Повнозв'язні нейромережі pdf youtube 

Навчання нейромереж методом backpropagation. Проблема згасання градієнтів. Ініціалізація вагів. Batch Normalization

Lc 8. Навчання глибоких нейромереж pdf youtube 

Регуляризація. Методи оптимізації градієнтного спуску. Перенесення навчання (Transfer learning). Автокодувальники 

Lc 9. Згорткові нейронні мережі (CNN) pdf youtube 

Основні поняття та складові блоки згорткових мереж. Найбільш відомі сучасні архітектури (VGG, Inception, ResNet, MobileNet) та можливості їхнього використання 

Lc 10. Рекурентні нейронні мережі (RNN) pdf youtube 

Опрацювання послідовностей (часових рядів). Архітектури LSTM та GRU. Класифікація текстів за допомогою рекурентних мереж. Word2Vec та Glove. 

Lc 11. Рекурентні нейронні мережі pdf  youtube 

Генерація текстів за допомогою RNN. Машинний переклад (seq2seq). Механізм уваги в рекурентних мережах. 

Lc 12. Трансформери.  pdf  youtube 

Архітектура Transformer, механізм внутрішньої уваги, мовні моделі, що базуються на цій архітектурі (GPT, BERT). Великі мовні моделі. Механізм дистиляції знань в нейромережах (DistilBERT) 

Lc 13.  Генерація зображень за допомогою нейромереж pdf youtube 

Перенесення стилю зображення. Генеративні змагальні мережі (GAN). 

Lc 14. Генерація зображень за допомогою нейромереж pdf youtube 

Варіаційний автокодувальник (VAE). Обумовлений VAE. VQ-VAE.  Дифузні моделі. Пряма та обернена дифузія. Латентна дифузія. 

Lc 15.  Генерація зображень за текстовим описом pdf youtube 

Трансформер для опрацювання зображень (ViT). Навчання на контрастах. Архітектура CLIP. Генерація зображень за текстовим описом: DALL-Е-1, GLIDE, DALLE-2 

Lc 16.  Advanced Architectures xLSTM KAN RAG PINNs  youtube 

Extended Long Short-Term Memory (xLSTM).  Kolmogorov-Arnold Networks (KAN). Retrieval Augmented Generation (RAG). Physics-informed neural networks (PINN)

Співбесіда з ML (питання) 

Конспект лекцій