Прикладные задачи анализа данных/2020 2021
Содержание
О курсе
Курс читается для студентов 3-го курса майнора ИАД в 3-4 модулях.
Проводится с 2016 года.
Лекции проходят по четвергам в 11:10 по ссылке.
Полезные ссылки
Репозиторий с материалами на GitHub
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
Канал в telegram для объявлений: https://t.me/hse_minor_intro_dm_2
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/iad_flood
Ссылка на курс в Anytask: https://anytask.org/course/787
Таблица с оценками: https://docs.google.com/spreadsheets/d/1k6aEcbCRK2sWvu0GFfjsu0oXHkPOBffgvba_ABZBQwQ/edit?usp=sharing
Семинары
| Группа | Преподаватель | Учебный ассистент | Zoom-конференция | Ссылка на чат | Материалы семинаров | Инвайт в anytask |
|---|---|---|---|---|---|---|
| ИАД-1 | Ковалёв Алексей | Вертеева Алена | Zoom | Чат | AclUusP | |
| ИАД-2 | Гущин Михаил | Пащенко Анатолий | Zoom | Чат | 1nkqLLM | |
| ИАД-3 | Чесаков Даниил | Ревина Полина | Zoom | Чат | https://github.com/Danyache/minor2021-iad3-spring | xAWTEmD |
| ИАД-4 | Кузнецов Максим | Саночкин Юрий | Zoom | Чат | https://yadi.sk/d/51onIvR2Kgfh3w?w=1 | gsf6Xv2 |
| ИАД-5 | Гущин Михаил | Шикунов Николай | Zoom | Чат | Ksh1OIm | |
| ИАД-6 | Кантонистова Елена | Цю-жен-цин Дмитрий | Zoom | Чат | https://disk.yandex.ru/d/l36Y8_V_nbIX6A | PHWSB7H |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Практические домашние работы на Python
- Контрольная где-то в середине курса
- Письменный экзамен
Итоговая оценка вычисляется по формуле:
Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)
ДЗ — средняя оценка за практические домашние задания
КР — оценка за контрольную работу
Э — оценка за экзамен
Итоговое округление арифметическое.
Правила сдачи заданий
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Лекции
Лекция 1 (28.01.2021). Задачи порождения изображений. Perceptual loss. Перенос стиля. Superresolution. [Слайды] [Запись лекции]
Лекция 2 (04.02.2021). Вариационные автокодировщики. [Слайды] [Запись лекции]
Лекция 3 (11.02.2021). Генеративно-состязательные сети. [Слайды] [Запись лекции]
Лекция 4 (18.02.2021). Нормализационные потоки. [Слайды] [Запись лекции]
Лекция 5 (25.02.2021). Диалоговые и вопросно-ответные системы. [Слайды] [Запись лекции]
Лекция 6 (04.03.2021). DL для звука 1. [Слайды] [Запись лекции]
Лекция 7 (11.03.2021). DL для звука 2. [Слайды] [Запись лекции]
Лекция 8 (18.03.2021). Рекомендательные системы 1. [Конспект] [Запись лекции]
Лекция 9 (25.03.2021). Рекомендательные системы 2. [Конспект] [Запись лекции]
Лекция 10 (08.04.2021). Продуктовая аналитика и A/B-тестирование 1. [Слайды] [Запись лекции]
Лекция 11 (15.04.2021). Продуктовая аналитика и A/B-тестирование 2. [Слайды] [Запись лекции]
Лекция 12 (29.04.2021). Временные ряды 1 [Записи] [Запись лекции]
Лекция 13 (13.05.2021). Временные ряды 2 [Ноутбук] [Запись лекции]
Лекция 14 (20.05.2021). MLOps 1: bash, версионирование, dvc [Ноутбук] [Запись лекции]
Лекция 15 (27.05.2021). MLOps 2: контейнеризация и деплой [Ноутбук] [Запись лекции]
Лекция 16 (03.06.2021). Поиск аномалий [Слайды] [Запись лекции]
Семинары
Семинар 1 (04.02.2021). Трансформация изображений. [Тетрадка]
Семинар 2 (11.02.2021). Вариационные автокодировщики. [Тетрадка]
Семинар 3 (18.02.2021). Генеративно-состязательные сети. [Тетрадка]
Семинар 4 (25.02.2021). Нормализационные потоки. [Тетрадка]
Семинар 5 (04.03.2021). NER и лингвомодели. [Тетрадка]
Семинар 6 (11.03.2021). Распознавание речи. [Тетрадка]
Семинар 7 (18.03.2021). Генерация звука. [Тетрадка]
Семинар 8 (25.03.2021). Рекомендательные системы. [Тетрадка]
Семинар 9 (08.04.2021). Рекомендательные системы. NCF. Метрики качества. [Тетрадка]
Семинар 10 (15.04.2021). Повторение основ матстата. Доверительные интервалы. А/В тестирование. [Тетрадка]
Семинар 11 (29.04.2021). Повторение основ матстата 2. Идея статистического вывода. Сравнение средних и t-тест. Хи-квадрат [Тетрадка]
Семинар 12 (13.05.2021). Анализ временных рядов. Часть 1. [Тетрадка]
Семинар 13 (20.05.2021). Анализ временных рядов. Часть 2. [Тетрадка]
Материалы по Docker [Тетрадка]
Практические задания
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).
Задание 1. Генеративные модели
Вам предстоит применить генеративно-состязательные сети и вариационный автокодировщик для быстрой симуляции параметров изображений системы двух черенковских телескопов MAGIC (Major Atmospheric Gamma Imaging Cherenkov).
Мягкий дедлайн: 11 марта 2021 года 23:59
Дедлайн: 14 марта 2021 года 23:59
Ссылка: https://github.com/hse-ds/iad-applied-ds/tree/master/2021/hw/hw1
Задание 2. Deep learning для обработки звука
В этом задании Вы поработаете и разберетесь в деталях с форматами представления аудиоданных в задачах глубинного обучения, а так же напишете несколько моделей для классификации аудиозаписей.
В процессе выполнения Вы познакомитесь:
- С алгоритмом построения Мел-спектрограммы.
- Рекуррентными и сверточными классификаторами аудиоданных.
- Алгоритмом аугментации аудиоданных SpecAugment.
Мягкий дедлайн: 11 апреля 2021 года 23:59
Дедлайн: 14 апреля 2021 года 23:59
Ссылка: https://github.com/hse-ds/iad-applied-ds/tree/master/2021/hw/hw2
Задание 3. Рекомендательные системы
В этом задании Вы продолжите работать с рекомендательными системами и познакомитесь с библиотекой LightFM.
Мягкий дедлайн: 7 мая 2021 года 23:59
Дедлайн: 10 мая 2021 года 23:59
Ссылка: https://github.com/hse-ds/iad-applied-ds/blob/master/2021/hw/hw3
Задание 4. Временные ряды
В этом задании Вы сами добудете данные с временными рядами, проанализируете их и обучите модели для предсказания.
Мягкий дедлайн: 13 июня 2021 года 23:59
Дедлайн: 15 июня 2021 года 23:59
Ссылка: https://github.com/hse-ds/iad-applied-ds/blob/master/2021/hw/hw4
Контрольная работа
Контрольная работа состоится 22 апреля во время лекции.
