Прикладные задачи анализа данных/2022 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 5: Строка 5:
 
Проводится с 2016 года.
 
Проводится с 2016 года.
  
−
Лекции проходят по четвергам в 11:10 по [https://zoom.us/j/93056986920?pwd=WFpCbVR1R1Q3S1Q3QTlOMzBNN0Y5QT09 ссылке].
+
Лекции проходят по четвергам в 11:10 по [https://zoom.us/j/98428571734?pwd=dlNSWUNzdXZMcTYyMkZuNEd0UGZSUT09 ссылке].
  
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
−
[https://www.hse.ru/edu/courses/416017381 Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/346231542 Карточка курса и программа]
  
 
[https://github.com/hse-ds/iad-applied-ds Репозиторий с материалами на GitHub]
 
[https://github.com/hse-ds/iad-applied-ds Репозиторий с материалами на GitHub]
Строка 15: Строка 15:
 
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
 
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
  
−
Канал в telegram для объявлений: https://t.me/hse_minor_intro_dm_2
+
Канал в telegram для объявлений: https://t.me/hs_iad_2021
  
−
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/iad_flood
+
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+Vuq4Lgi98RG22fQP
  
−
Ссылка на курс в Anytask: https://anytask.org/course/787
+
Ссылка на курс в Anytask: https://anytask.org/course/??
  
−
Таблица с оценками: https://docs.google.com/spreadsheets/d/1k6aEcbCRK2sWvu0GFfjsu0oXHkPOBffgvba_ABZBQwQ/edit?usp=sharing
+
Таблица с оценками: https://docs.google.com/spreadsheets/d/1ldHwaK38SdeLVJh0h-RUSRf4bgRjBPdhS9J73AASJb0/edit?usp=sharing
  
 
=== Семинары ===
 
=== Семинары ===
Строка 64: Строка 64:
  
 
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 +
 +
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Также разрешается в конце курса написать одну проверочную, пропущенную без уважительной причины.
  
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
  
 
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
 
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
 +
  
 
== Лекции ==
 
== Лекции ==
  
 
'''Лекция 1''' (28.01.2021). Задачи порождения изображений. Perceptual loss. Перенос стиля. Superresolution. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture01-generative.pdf Слайды]] [[https://www.youtube.com/watch?v=GRJ84i2z_7A Запись лекции]]
 
'''Лекция 1''' (28.01.2021). Задачи порождения изображений. Perceptual loss. Перенос стиля. Superresolution. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture01-generative.pdf Слайды]] [[https://www.youtube.com/watch?v=GRJ84i2z_7A Запись лекции]]
−
 
−
'''Лекция 2''' (04.02.2021). Вариационные автокодировщики. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture02-vae.pdf Слайды]] [[https://www.youtube.com/watch?v=cBL7jS4GQRk Запись лекции]]
 
−
 
−
'''Лекция 3''' (11.02.2021). Генеративно-состязательные сети. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture03-gan.pdf Слайды]] [[https://youtu.be/lUNCZlM5SYY Запись лекции]]
 
−
 
−
'''Лекция 4''' (18.02.2021). Нормализационные потоки. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture04-nf.pdf Слайды]] [[https://www.youtube.com/watch?v=gpv7kf1bf-U Запись лекции]]
 
−
 
−
'''Лекция 5''' (25.02.2021). Диалоговые и вопросно-ответные системы. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture05.pdf Слайды]] [[https://youtu.be/TmVIGWzaq5A Запись лекции]]
 
−
 
−
'''Лекция 6''' (04.03.2021). DL для звука 1. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture06.pdf Слайды]] [[https://youtu.be/m4Ve26DNNyM Запись лекции]]
 
−
 
−
'''Лекция 7''' (11.03.2021). DL для звука 2. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lecture07.pdf Слайды]] [[https://youtu.be/Rc9qUb7kdkQ Запись лекции]]
 
−
 
−
'''Лекция 8''' (18.03.2021). Рекомендательные системы 1. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lectures08-09-recommender.pdf Конспект]] [[https://www.youtube.com/watch?v=jXq7z6z1RNM Запись лекции]]
 
−
 
−
'''Лекция 9''' (25.03.2021). Рекомендательные системы 2. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lectures08-09-recommender.pdf Конспект]] [[https://www.youtube.com/watch?v=HOcP_1kLOOs Запись лекции]]
 
−
 
−
'''Лекция 10''' (08.04.2021). Продуктовая аналитика и A/B-тестирование 1. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lectures10-11-analytics.pdf Слайды]] [[https://www.youtube.com/watch?v=Kvucz00kndk Запись лекции]]
 
−
 
−
'''Лекция 11''' (15.04.2021). Продуктовая аналитика и A/B-тестирование 2. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/lectures/lectures10-11-analytics.pdf Слайды]] [[https://www.youtube.com/watch?v=4KR-OfKgol8 Запись лекции]]
 
−
 
−
'''Лекция 12''' (29.04.2021). Временные ряды 1 [[https://www.overleaf.com/project/608a50023726cab5a2423f19 Записи]]  [[https://youtu.be/H_A8nKaTCKg Запись лекции]]
 
−
 
−
'''Лекция 13''' (13.05.2021). Временные ряды 2 [[https://colab.research.google.com/drive/1QqZDbijR5__Kf-qV7Sfq05_ng7x66jrz?usp=sharing Ноутбук]] [[https://youtu.be/av6-bHkB0GY Запись лекции]]
 
−
 
−
'''Лекция 14''' (20.05.2021). MLOps 1: bash, версионирование, dvc [[https://colab.research.google.com/drive/1yPQ5k9ldg8fa2UuuIsCKJbr_zatuCa0N?usp=sharing Ноутбук]] [[https://youtu.be/xgx3WRzOLoQ Запись лекции]]
 
−
 
−
'''Лекция 15''' (27.05.2021). MLOps 2: контейнеризация и деплой [[https://colab.research.google.com/drive/1NSuTsPspVhjfKlSQfs3fMp7nh0V04-m8?usp=sharing Ноутбук]] [[https://youtu.be/xWrt_d9Z1h8 Запись лекции]]
 
−
 
−
'''Лекция 16''' (03.06.2021). Поиск аномалий [[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture16-anomaly.pdf Слайды]] [[https://youtu.be/NioMDoHIXCQ Запись лекции]]
 
  
 
== Семинары ==
 
== Семинары ==
−
 
−
'''Семинар 1''' (04.02.2021). Трансформация изображений. [[https://github.com/hse-ds/iad-applied-ds/tree/master/2021/seminars Тетрадка]]
 
−
 
−
'''Семинар 2''' (11.02.2021). Вариационные автокодировщики. [[https://github.com/hse-ds/iad-applied-ds/tree/master/2021/seminars/sem02_ae_vae Тетрадка]]
 
−
 
−
'''Семинар 3''' (18.02.2021). Генеративно-состязательные сети. [[https://colab.research.google.com/github/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem03_gan.ipynb Тетрадка]]
 
−
 
−
'''Семинар 4''' (25.02.2021). Нормализационные потоки. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem04_nf.ipynb Тетрадка]]
 
−
 
−
'''Семинар 5''' (04.03.2021). NER и лингвомодели. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem05_NER.ipynb Тетрадка]]
 
−
 
−
'''Семинар 6''' (11.03.2021). Распознавание речи. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem06_audio.ipynb Тетрадка]]
 
−
 
−
'''Семинар 7''' (18.03.2021). Генерация звука. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem07_audio_gen.ipynb Тетрадка]]
 
−
 
−
'''Семинар 8''' (25.03.2021). Рекомендательные системы. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem08_recsys.ipynb Тетрадка]]
 
−
 
−
'''Семинар 9''' (08.04.2021). Рекомендательные системы. NCF. Метрики качества. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem09_ncf/sem09_ncf_sol.ipynb Тетрадка]]
 
−
 
−
'''Семинар 10''' (15.04.2021). Повторение основ матстата. Доверительные интервалы. А/В тестирование. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem10_stat/sem10_stat.ipynb Тетрадка]]
 
−
 
−
'''Семинар 11''' (29.04.2021). Повторение основ матстата 2. Идея статистического вывода. Сравнение средних и t-тест. Хи-квадрат [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem11_stat2.ipynb Тетрадка]]
 
−
 
−
'''Семинар 12''' (13.05.2021). Анализ временных рядов. Часть 1. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem12_ts/sem12_timeseries.ipynb Тетрадка]]
 
−
 
−
'''Семинар 13''' (20.05.2021). Анализ временных рядов. Часть 2. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem13_tsa.ipynb Тетрадка]]
 
−
 
−
'''Материалы по Docker''' [[https://github.com/hse-ds/iad-applied-ds/blob/master/2021/seminars/sem_docker.ipynb Тетрадка]]
 
  
 
== Практические задания ==
 
== Практические задания ==
  
−
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).
+
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
−
 
+
−
===Задание 1. Генеративные модели===
+
−
Вам предстоит применить генеративно-состязательные сети и вариационный автокодировщик для быстрой симуляции параметров изображений системы двух черенковских телескопов MAGIC (Major Atmospheric Gamma Imaging Cherenkov).
+
−
 
+
−
'''Мягкий дедлайн''':  11 марта 2021 года 23:59
+
−
 
+
−
'''Дедлайн''':  14 марта 2021 года 23:59
+
−
 
+
−
'''Ссылка''': https://github.com/hse-ds/iad-applied-ds/tree/master/2021/hw/hw1
+
−
 
+
−
===Задание 2. Deep learning для обработки звука===
+
−
В этом задании Вы поработаете и разберетесь в деталях с форматами представления аудиоданных в задачах глубинного обучения, а так же напишете несколько моделей для классификации аудиозаписей.
+
−
 
+
−
В процессе выполнения Вы познакомитесь:
+
−
* С алгоритмом построения Мел-спектрограммы.
+
−
* Рекуррентными и сверточными классификаторами аудиоданных.
+
−
* Алгоритмом аугментации аудиоданных SpecAugment.
+
−
 
+
−
'''Мягкий дедлайн''':  11 апреля 2021 года 23:59
+
−
 
+
−
'''Дедлайн''':  14 апреля 2021 года 23:59
+
−
 
+
−
'''Ссылка''': https://github.com/hse-ds/iad-applied-ds/tree/master/2021/hw/hw2
+
−
 
+
−
===Задание 3. Рекомендательные системы===
+
−
В этом задании Вы продолжите работать с рекомендательными системами и познакомитесь с библиотекой LightFM.
+
−
 
+
−
'''Мягкий дедлайн''':  7 мая 2021 года 23:59
+
−
 
+
−
'''Дедлайн''':  10 мая 2021 года 23:59
+
−
 
+
−
'''Ссылка''': https://github.com/hse-ds/iad-applied-ds/blob/master/2021/hw/hw3
+
−
 
+
−
===Задание 4. Временные ряды===
+
−
В этом задании Вы сами добудете данные с временными рядами, проанализируете их и обучите модели для предсказания.
+
−
 
+
−
'''Мягкий дедлайн''': 13 июня 2021 года 23:59
+
−
 
+
−
'''Дедлайн''':  15 июня 2021 года 23:59
+
−
 
+
−
'''Ссылка''': https://github.com/hse-ds/iad-applied-ds/blob/master/2021/hw/hw4
+
  
 
== Контрольная работа ==
 
== Контрольная работа ==
−
 
−
Контрольная работа состоится 22 апреля во время лекции.
 
−
 
−
[https://docs.google.com/document/d/14Mt8-3HktcqtfViFObI0qc68rKUuGC7AfL9D1HdxySU/edit Вопросы для подготовки]
 
  
 
== Экзамен ==
 
== Экзамен ==
−
 
−
[https://docs.google.com/document/d/1bTfT7hbsFp8_FTZd5wr8ZVOYngHkzHO13udF8wZvvgA/edit?usp=sharing Вопросы для подготовки]
 
  
 
== Страницы прошлых лет ==
 
== Страницы прошлых лет ==

Версия 22:31, 26 января 2022

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 3-4 модулях.

Проводится с 2016 года.

Лекции проходят по четвергам в 11:10 по ссылке.

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://t.me/hs_iad_2021

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+Vuq4Lgi98RG22fQP

Ссылка на курс в Anytask: https://anytask.org/course/??

Таблица с оценками: https://docs.google.com/spreadsheets/d/1ldHwaK38SdeLVJh0h-RUSRf4bgRjBPdhS9J73AASJb0/edit?usp=sharing

Семинары

Группа Преподаватель Учебный ассистент Zoom-конференция Ссылка на чат Материалы семинаров Инвайт в anytask
ИАД-1 Ковалёв Алексей Вертеева Алена Zoom Чат AclUusP
ИАД-2 Гущин Михаил Пащенко Анатолий Zoom Чат 1nkqLLM
ИАД-3 Чесаков Даниил Ревина Полина Zoom Чат https://github.com/Danyache/minor2021-iad3-spring xAWTEmD
ИАД-4 Кузнецов Максим Саночкин Юрий Zoom Чат https://yadi.sk/d/51onIvR2Kgfh3w?w=1 gsf6Xv2
ИАД-5 Гущин Михаил Шикунов Николай Zoom Чат Ksh1OIm
ИАД-6 Кантонистова Елена Цю-жен-цин Дмитрий Zoom Чат https://disk.yandex.ru/d/l36Y8_V_nbIX6A PHWSB7H

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

КР — оценка за контрольную работу

Э — оценка за экзамен

Итоговое округление арифметическое.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Также разрешается в конце курса написать одну проверочную, пропущенную без уважительной причины.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.


Лекции

Лекция 1 (28.01.2021). Задачи порождения изображений. Perceptual loss. Перенос стиля. Superresolution. [Слайды] [Запись лекции]

Семинары

Практические задания

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

Контрольная работа

Экзамен

Страницы прошлых лет

2020/21 учебный год

2019/20 учебный год

2018/19 учебный год

2017/18 учебный год

2016/17 учебный год

Источник — «http://wiki.cs.hse.ru/index.php?title=Прикладные_задачи_анализа_данных/2022&oldid=64945»