Анализ данных (весна, 2019)

Материалы лекционных занятий

TBD

Практические задания

Общие правила

• 4 лабораторные работы
  1. Линейные методы восстановления регрессии и классификации (срок - 10 марта, 15 баллов)
  2. Обработка изображений (срок - 18 апреля, 15 баллов)
  3. Обработка разнородных данных (срок - 28 апреля, 15 баллов)
  4. Обработка текстовых данных (срок - 26 мая, 15 баллов)
• Бонусные баллы. За попадание в Топ-3 в рамках группы по результатам выполнения работ 2, 3, 4 начисляются бонусные баллы (при условии сдачи работы в срок).
  • Л.Р. №2 – 15 баллов
  • Л.Р. №3 – 15 баллов
  • Л.Р. №4 – 10 баллов
• Если работа сдана в срок, то можно повышать свой результат в течение всего семестра.
• За Л.Р. №1 можно получить дополнительные 10 баллов, если выполнить задание повышенной сложности.
• Просроченная сдача работы: минус 3 балла за каждое занятие + невозможность попасть в топ-3 и претендовать на бонусные баллы
• Порядок сдачи
  1. Прислать мне на почту (anton.veselov at gmail.com) файл с предсказаниями для тестовой выборки (названия файлов для сохранения результатов: lab1_1.csv, lab1_2.csv, lab1_3.csv, lab2.csv, lab3.csv). Результаты будут проверяться один раз в неделю в воскресенье.
  2. Защитить код/ответить на вопросы на паре.
  3. Если результаты прошли по порогу сдачи работы и лабораторная защищена на занятии, то прислать код на почту.
• Срок сдачи определяется датой, когда я получу код на почту.
• Допуск к экзамену: 4 сданные лабораторные работы

Лабораторная работа №1

В данной работе необходимо реализовать алгоритм градиентного спуска для решения задачи восстановления линейной регрессии и для задачи бинарной классификации. Нельзя пользоваться готовыми библиотеками.

Данные для обучения:

• Линейная регрессия. Условие сдачи работы: значение коэффициента детерминации >70% на тестовой выборке.
  • Тренировочная выборка.
  • Тестовая выборка.
• Логистическая регрессия. Условие сдачи работы: точность >75% на тестовой выборке.
  • Тренировочная выборка.
  • Тестовая выборка.

Задание повышенной сложности. Обучить многослойную нейронную сеть прямого распространения для задач из ЛР №1.

Лабораторная работа №2

Во второй работе необходимо обучить классификатор изображений с пересекающимися классами объектов (multilabel classifier).

Данные для обучения:

• каталог со всеми изображениями
• тренировочная выборка
  • список файлов
  • метки
• тестовая выборка
  • список файлов

Условие сдачи работы: значение F1-score (https://en.wikipedia.org/wiki/F1_score) должно превысить порог 0.2 на тестовой выборке. Чтобы достичь этот порог рекомендуется в качестве класса алгоритмов взять сверточные нейронные сети (CNN).

Лабораторная работа №3

В данной работе необходимо обучить бинарный классификатор для разнородных данных с пропусками. Целевая переменная находится в последнем столбце.

• Тренировочное множество.
• Тестовое множество.

Вспомогательная информация.

Рекомендуется воспользоваться библиотекой sklearn, можно пользоваться любыми алгоритмами. Для работы с выборкой рекомендуется воспользоваться библиотекой pandas. Выборка содержит пропуски, для заполнения можно применить стандартный класс Imputer, подбор параметров поможет сделать GridSearchCV. Пример работы с библиотекой можно посмотреть в видео лекциях.

Условие сдачи работы: >80% точноcть классификации на тестовой выборке.

Лабораторная работа №4

В данном задании необходимо научиться классифицировать текстовые запросы пользователей.

• Тренировочное и тестовое множества

Формат выборки.

Текстовые запросы пользователей сгруппированы по файлам - каждый файл с префиксом train содержит примеры запросы из одного класса. Цифра перед префиксом - метка класса. Файл test.txt содержит тестовые запросы.

Условие сдачи работы: >95% точноcть классификации на тестовой выборке.

Результаты

Таблица с результатами.

Список тем курсовых проектов

Здесь.

Вопросы к экзамену

Здесь.