Прикладные задачи анализа данных

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 3-4 модулях.

Проводится с 2016 года.

Лекции проходят по четвергам в 11:10 по ссылке.

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://t.me/hse_minor_intro_dm_2

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/iad_flood

Ссылка на курс в Anytask: https://anytask.org/course/787

Таблица с оценками: https://docs.google.com/spreadsheets/d/1k6aEcbCRK2sWvu0GFfjsu0oXHkPOBffgvba_ABZBQwQ/edit?usp=sharing

Семинары

Группа Преподаватель Учебный ассистент Zoom-конференция Ссылка на чат Материалы семинаров Инвайт в anytask
ИАД-1 Ковалёв Алексей Вертеева Алена Zoom Чат AclUusP
ИАД-2 Гущин Михаил Пащенко Анатолий Zoom Чат 1nkqLLM
ИАД-3 Чесаков Даниил Ревина Полина Zoom Чат https://github.com/Danyache/minor2021-iad3-spring xAWTEmD
ИАД-4 Кузнецов Максим Саночкин Юрий Zoom Чат https://yadi.sk/d/51onIvR2Kgfh3w?w=1 gsf6Xv2
ИАД-5 Гущин Михаил Шикунов Николай Zoom Чат Ksh1OIm
ИАД-6 Кантонистова Елена Цю-жен-цин Дмитрий Zoom Чат https://disk.yandex.ru/d/l36Y8_V_nbIX6A PHWSB7H

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

КР — оценка за контрольную работу

Э — оценка за экзамен

Итоговое округление арифметическое.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Лекция 1 (28.01.2021). Задачи порождения изображений. Perceptual loss. Перенос стиля. Superresolution. [Слайды] [Запись лекции]

Лекция 2 (04.02.2021). Вариационные автокодировщики. [Слайды] [Запись лекции]

Лекция 3 (11.02.2021). Генеративно-состязательные сети. [Слайды] [Запись лекции]

Лекция 4 (18.02.2021). Нормализационные потоки. [Слайды] [Запись лекции]

Лекция 5 (25.02.2021). Диалоговые и вопросно-ответные системы. [Слайды] [Запись лекции]

Лекция 6 (04.03.2021). DL для звука 1. [Слайды] [Запись лекции]

Лекция 7 (11.03.2021). DL для звука 2. [Слайды] [Запись лекции]

Лекция 8 (18.03.2021). Рекомендательные системы 1. [Конспект] [Запись лекции]

Лекция 9 (25.03.2021). Рекомендательные системы 2. [Конспект] [Запись лекции]

Лекция 10 (08.04.2021). Продуктовая аналитика и A/B-тестирование 1. [Слайды] [Запись лекции]

Лекция 11 (15.04.2021). Продуктовая аналитика и A/B-тестирование 2. [Слайды] [Запись лекции]

Лекция 12 (29.04.2021). Временные ряды 1 [Записи] [Запись лекции]

Лекция 13 (13.05.2021). Временные ряды 2 [Ноутбук] [Запись лекции]

Лекция 14 (20.05.2021). MLOps 1: bash, версионирование, dvc [Ноутбук] [Запись лекции]

Лекция 15 (27.05.2021). MLOps 2: контейнеризация и деплой [Ноутбук] [Запись лекции]

Лекция 16 (03.06.2021). Поиск аномалий [Слайды] [Запись лекции]

Семинары

Семинар 1 (04.02.2021). Трансформация изображений. [Тетрадка]

Семинар 2 (11.02.2021). Вариационные автокодировщики. [Тетрадка]

Семинар 3 (18.02.2021). Генеративно-состязательные сети. [Тетрадка]

Семинар 4 (25.02.2021). Нормализационные потоки. [Тетрадка]

Семинар 5 (04.03.2021). NER и лингвомодели. [Тетрадка]

Семинар 6 (11.03.2021). Распознавание речи. [Тетрадка]

Семинар 7 (18.03.2021). Генерация звука. [Тетрадка]

Семинар 8 (25.03.2021). Рекомендательные системы. [Тетрадка]

Семинар 9 (08.04.2021). Рекомендательные системы. NCF. Метрики качества. [Тетрадка]

Семинар 10 (15.04.2021). Повторение основ матстата. Доверительные интервалы. А/В тестирование. [Тетрадка]

Семинар 11 (29.04.2021). Повторение основ матстата 2. Идея статистического вывода. Сравнение средних и t-тест. Хи-квадрат [Тетрадка]

Семинар 12 (13.05.2021). Анализ временных рядов. Часть 1. [Тетрадка]

Семинар 13 (20.05.2021). Анализ временных рядов. Часть 2. [Тетрадка]

Материалы по Docker [Тетрадка]

Практические задания

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

Задание 1. Генеративные модели

Вам предстоит применить генеративно-состязательные сети и вариационный автокодировщик для быстрой симуляции параметров изображений системы двух черенковских телескопов MAGIC (Major Atmospheric Gamma Imaging Cherenkov).

Мягкий дедлайн: 11 марта 2021 года 23:59

Дедлайн: 14 марта 2021 года 23:59

Ссылка: https://github.com/hse-ds/iad-applied-ds/tree/master/2021/hw/hw1

Задание 2. Deep learning для обработки звука

В этом задании Вы поработаете и разберетесь в деталях с форматами представления аудиоданных в задачах глубинного обучения, а так же напишете несколько моделей для классификации аудиозаписей.

В процессе выполнения Вы познакомитесь:

  • С алгоритмом построения Мел-спектрограммы.
  • Рекуррентными и сверточными классификаторами аудиоданных.
  • Алгоритмом аугментации аудиоданных SpecAugment.

Мягкий дедлайн: 11 апреля 2021 года 23:59

Дедлайн: 14 апреля 2021 года 23:59

Ссылка: https://github.com/hse-ds/iad-applied-ds/tree/master/2021/hw/hw2

Задание 3. Рекомендательные системы

В этом задании Вы продолжите работать с рекомендательными системами и познакомитесь с библиотекой LightFM.

Мягкий дедлайн: 7 мая 2021 года 23:59

Дедлайн: 10 мая 2021 года 23:59

Ссылка: https://github.com/hse-ds/iad-applied-ds/blob/master/2021/hw/hw3

Задание 4. Временные ряды

В этом задании Вы сами добудете данные с временными рядами, проанализируете их и обучите модели для предсказания.

Мягкий дедлайн: 13 июня 2021 года 23:59

Дедлайн: 15 июня 2021 года 23:59

Ссылка: https://github.com/hse-ds/iad-applied-ds/blob/master/2021/hw/hw4

Контрольная работа

Контрольная работа состоится 22 апреля во время лекции.

Вопросы для подготовки

Экзамен

Вопросы для подготовки

Страницы прошлых лет

2019/20 учебный год

2018/19 учебный год

2017/18 учебный год

2016/17 учебный год