Лекция 14

Неделя 14: Подготовка к финальному проекту и лучшие практики

1. Подготовка к финальному проекту

1.1. Структура успешного ML-проекта

1. Постановка задачи:

• Четкое определение бизнес-цели

• Выбор метрик успеха (accuracy, RMSE, ROI)

2. Исследование данных (EDA):

• Анализ распределений и выбросов

• Визуализация ключевых зависимостей

3. Прототипирование:

• Базовые модели (линейная регрессия/случайный лес)

• Быстрая проверка гипотез

4. Продвинутое моделирование:

• Подбор архитектур нейросетей

• Оптимизация гиперпараметров

5. Деплой и мониторинг:

• Упаковка в API или микросервис

• Настройка логирования и алертов

1.2. Инструменты для проекта

Этап

Инструменты

Анализ данных

Pandas, Matplotlib, Seaborn

Моделирование

Scikit-learn, PyTorch, TensorFlow

Визуализация

Plotly, Streamlit

Деплой

FastAPI, Docker, Heroku

Документация

Jupyter Notebook, Markdown

2.1. Организация кода

Copy

my_project/ 

├── data/ 

│   ├── raw/        # Исходные данные 

│   └── processed/  # Обработанные данные 

├── notebooks/      # Jupyter-ноутбуки 

├── src/ 

│   ├── features/   # Препроцессинг 

│   ├── models/     # Код моделей 

│   └── visualization/  # Визуализации 

├── tests/          # Тесты 

├── app.py          # Веб-приложение 

└── requirements.txt # Зависимости 

2.2. Шаблон для экспериментов

python

Copy

import mlflow

def train_model(X_train, y_train):

with mlflow.start_run():

     model = RandomForestClassifier(n_estimators=100)

     model.fit(X_train, y_train)

     # Логирование параметров и метрик

        mlflow.log_param("n_estimators", 100)

     mlflow.log_metric("accuracy", 0.95)

     mlflow.sklearn.log_model(model, "model")

     return model

2.3. Автоматизация тестирования

python

Copy

# tests/test_model.py

def test_model_accuracy():

model = joblib.load("model.pkl")

X_test, y_test = load_test_data()

accuracy = model.score(X_test, y_test)

assert accuracy > 0.85, "Точность ниже требуемого порога"

3. Домашнее задание

Задача 1: Проектирование решения

1. Выберите dataset (Kaggle/UCI)

2. Составьте план проекта (5 этапов из 1.1)

3. Определите 3 ключевые метрики успеха

Пример для кредитного скоринга:

markdown

Copy

1. Цель: Прогноз дефолта с точностью >85% 

2. Метрики: 

   - ROC-AUC > 0.9 

   - Ложные отказы < 5% 

   - Время предсказания < 100 мс 

Задача 2: Реализация пайплайна

1. Напишите EDA-ноутбук с визуализациями

2. Постройте базовый пайплайн:

python

Copy

from sklearn.pipeline import Pipeline

pipeline = Pipeline([

('scaler', StandardScaler()),

('model', LogisticRegression())

])

Задача 3: Деплой прототипа

1. Создайте минимальное FastAPI-приложение

2. Задеплойте на бесплатном хостинге (Heroku/Replit)

Пример endpoint:

python

Copy

@app.post("/predict")

async def predict(data: dict):

prediction = model.predict([data["features"]])

return {"result": prediction[0]}

Итоги курса

✅ Теория: От линейной регрессии до трансформеров
✅ Практика: 20+ реализованных алгоритмов
✅ Инструменты: PyTorch, Scikit-learn, MLflow
✅ Проекты: От идеи до production

Финальный проект:

• Срок сдачи: 2 недели

• Требования: GitHub репозиторий + презентация

• Критерии оценки:

  • Качество кода (30%)

  • Результаты модели (40%)

  • Документация (20%)

  • Креативность (10%)

Совет: Начните с простого работающего прототипа! 🚀