Основы машинного обучения/2023 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (add exam info)
Строка 7: Строка 7:
 
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
 
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
  
Лекции проходят онлайн по средам в 11:10 в [https://zoom.us/j/93166833697?pwd=UkZybHlNNlBWOWZ2eWovcWtNK3Nrdz09 zoom].
+
Лекции проходят онлайн по средам в 13:00 в [https://us06web.zoom.us/j/84560090473?pwd=VysrcmE1clZyU0I1RlZ6T3kxck9GUT09 zoom].
  
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
[https://www.hse.ru/edu/courses/450828864 Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/570846500 Карточка курса и программа]
  
 
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]
 
[https://github.com/hse-ds/iad-intro-ds Репозиторий с материалами на GitHub]
  
[https://www.youtube.com/playlist?list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ Записи занятий]
+
[https://www.youtube.com/playlist?list=PLEwK9wdS5g0oCRxBzxsq9lkJkzMgzWiyg Записи занятий]
  
 
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
 
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
  
Канал в telegram для объявлений: https://t.me/hse_iad_22
+
Канал в telegram для объявлений: https://t.me/hse_iad_2023
  
Чат в telegram для флуда: https://t.me/+pbt8rRfldsUzZGUy
+
Чат в telegram для флуда: https://t.me/+rnVX7uhGa71kZTBi
  
Ссылка на курс в Anytask: https://anytask.org/course/899
+
Ссылка на курс в Anytask: https://anytask.org/course/??
  
Таблица с оценками: https://docs.google.com/spreadsheets/d/130puDf_28fPRNKJqtyQAkIyoKnjbVHFtpAcX5zm4CsA/edit?usp=sharing
+
Таблица с оценками: https://docs.google.com/spreadsheets/d/1s8f-IpiWjsIhdPotECDLfyd20kCE7IkL-5mGRLpqFFg/edit?usp=sharing
  
 
=== Семинары ===
 
=== Семинары ===
Строка 33: Строка 33:
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask  
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask  
 
|-
 
|-
| ИАД-1 || Алвандян Нарек || [https://t.me/ipomeya31 Плахин Александр], [https://t.me/parestoranam Макаров Антон] || [https://zoom.us/j/93410637894?pwd=NG1yMllOZWtTRzNuYTY5T0QwTHVtZz09 Zoom] ||  [https://t.me/+OghU7AZvqqhlODZi Чат]  || - || A1U6NYZ
 
|-
 
| ИАД-2 || Косарев Илья || [https://t.me/caesiummm Никифоров Михаил], [https://t.me/anatoly_paschenko Пащенко Анатолий]  || [https://zoom.us/j/96875144987?pwd=c1Vqd2t2OWVaY2VlNllCVU82WW5mQT09 Zoom] || [https://t.me/+sqgSOPgr5HZmZTQy Чат] || - || RbElTlq
 
|-
 
| ИАД-3 || Кантонистова Елена || [https://t.me/Savely_Prokhorov Прохоров Савелий], [https://t.me/arorlov Червяков Артем] || [https://zoom.us/j/92527076732?pwd=dWxHMXczUlkyMXdmaG1NYlA5QjUrUT09 Zoom]  || [https://t.me/+LSgeYDy2Fio1NmM6 Чат] || - || TdtY747
 
|-
 
| ИАД-4 || [https://t.me/vsomelyusik Владимир Омелюсик] || [https://t.me/yaderevenskiy  Альмухаметов Денис], [https://t.me/zhan2pac Жуматаев Жанту] || [https://zoom.us/j/94478987033?pwd=QlIwUkRyVFh0UVEzS1VBT2RGT2lQZz09 Zoom] || [https://t.me/+9hLzy1jv1tczNWMy Чат] || [https://github.com/V-Marco/hse_iad4_2022 Материалы] ||  t22o3Qw
 
|-
 
| ИАД-5 ||Карпова Ася || [https://t.me/egorkapiorka Масликов Егор], [https://t.me/krsafonov Кирилл Сафонов] || [https://zoom.us/j/94217882025?pwd=TzNJb296OEw1dHhLRDZjeWxIbHVKZz09 Zoom] || [https://t.me/+u4MqYwV6XINmYjcy Чат] || - || Dy5fbVc
 
|-
 
| ИАД-6 || Серякова Василиса || [https://t.me/ongalek Смоленчук Иван], [https://t.me/masstermax Гудзикевич Максим] || [https://zoom.us/j/98698466454?pwd=ZG9yR0liVnk4K0JOdWRQb2RDL2lIZz09 Zoom]  || [https://t.me/+YvHUyon7GqBlZjZi Чат] || || ybPLhJX
 
|-
 
| ИАД-7 || Чиркова Надежда || [https://t.me/masstermax Гудзикевич Максим], [https://t.me/ekostrykina Кострыкина Екатерина] || [https://zoom.us/j/94594342525?pwd=bXR5YzdEQWg1cm85citKdWR0Y2M0Zz09 Zoom] || [https://t.me/+f_60KCmo80hhN2Ni Чат] || [https://github.com/nadiinchi/iad2022/ Материалы] || zdbENSv
 
|-
 
| ИАД-8 || Семенов Дмитрий || [https://t.me/mr_dyadyunov Дядюнов Андрей], [https://t.me/VeteranIvan Пичугин Иван]|| [https://zoom.us/j/99921792854?pwd=b1JpazNtVEVwaWZYK1RDYWQ1NFNhdz09 Zoom] || [https://t.me/+H0EwJppMUMBhMjcy Чат] || - || Hp2cbwv
 
|-
 
| ИАД-9 || Альперович Вадим || [https://t.me/alex_uve Пономаренко Александр], [https://t.me/onehspal Лапшина Ксения ] || [https://zoom.us/j/99240916833?pwd=bDZISE4vbTIzOFprVjFzY1dBaFM3QT09 Zoom] || [https://t.me/+TSPjYC7CpYA4NGQy Чат] || -|| JeVWlWS
 
|-
 
| БИ-1 || Васильев Роман || [https://t.me/nikola_dobr Добротворский Николай] || [Zoom coming soon] || [https://t.me/+remAgPd2T6cxYTJi Чат] || -|| FKmNFoj
 
|-
 
| БИ-2 || Мокрий Юрий || [https://t.me/ari_yusa Юсупова Арина] || [https://zoom.us/j/95746475791?pwd=TTlGaHlEV2ZwV3UyMWxFVmw2SnFBdz09 Zoom] || [https://t.me/+YQOnIRBobV05YjBi Чат] || -|| F7rNwgw
 
 
|}
 
|}
  
Строка 67: Строка 46:
  
 
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)
 
O<sub>итоговая</sub> = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)
 
 
У групп БИ-1 и БИ-2 (не майнор) оценка за курс также проставляется в третьем модуле:
 
 
О<sub>итоговая за третий модуль</sub> = Округление(0.8 * ДЗ + 0.2 * ПР)
 
 
Обратите внимание, что работы из третьего модуля также влияют на оценку в четвертом
 
 
 
ДЗ — средняя оценка за практические домашние задания
 
 
ПР — средняя оценка за письменные проверочные работы на семинарах
 
 
КР — оценка за контрольную работу
 
 
Э — оценка за экзамен
 
  
 
Округление арифметическое.
 
Округление арифметическое.
  
 
==== Автоматы ====
 
==== Автоматы ====
Если у вас '''накопленная''' оценка '''>= 6 баллов''' и '''за контрольную >= 5.5 баллов''', то вы можете перенести эту накопленную в итоговую. Или, если хотите, можете отказаться и пойти на экзамен. Но по умолчанию всем, кто может получить автомат, мы ставим автомат.
+
Если у вас '''накопленная''' оценка '''>= N баллов''' и '''за контрольную >= M баллов''', то вы можете перенести эту накопленную в итоговую. Или, если хотите, можете отказаться и пойти на экзамен. Но по умолчанию всем, кто может получить автомат, мы ставим автомат.
  
 
''Накопленная оценка считается по формуле'': (0.4 * ДЗ + 0.1 * ПР + 0.2 * КР) / 0.7.
 
''Накопленная оценка считается по формуле'': (0.4 * ДЗ + 0.1 * ПР + 0.2 * КР) / 0.7.
  
В критериях '''на автомат все оценки считаются без округления'''. То есть если у вас за контрольную 5.4 или накоп 5.9, то автомат не положен.
+
В критериях '''на автомат все оценки считаются без округления'''.
 +
 
 +
Пороги N и M определяются незадолго до сессии 4 модуля.
  
 
=== Правила сдачи заданий ===
 
=== Правила сдачи заданий ===
Строка 97: Строка 62:
 
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
  
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Также разрешается в конце курса написать одну проверочную, пропущенную без уважительной причины.
+
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
  
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
Строка 105: Строка 70:
 
== Лекции ==
 
== Лекции ==
  
'''Лекция 1''' (19.01.2022). Введение в машинное обучение и анализ данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=CWqurj-JjkQ Запись лекции]]
 
 
'''Лекция 2''' (26.01.2022). Виды задач и виды признаков. Метод k ближайших соседей для классификации. Вычисление расстояний для числовых данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture02-knn.pdf Слайды]] [[https://youtu.be/ZKJPmzsMLzY Запись лекции]]
 
 
'''Лекция 3''' (02.02.2022). Измерение ошибки в задачах классификации. Обобщающая способность. Проверка обобщающей способности: отложенная выборка и кросс-валидация. Метод k ближайших соседей с весами. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture03-knn.pdf Слайды]] [[https://youtu.be/UZB2t43B1dI Запись лекции]]
 
 
'''Лекция 4''' (09.02.2022). Модель линейной регрессии. Подготовка данных для линейной регрессии. MSE для линейной регрессии в матричной форме. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture04-linregr.pdf Слайды]] [[https://youtu.be/c6rEP55zC2c Запись лекции]]
 
 
'''Лекция 5''' (16.02.2022). Немного про градиентный спуск. Аналитическая формула для оптимального вектора весов, её недостатки. Переобучение и регуляризация линейных моделей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture05-linregr.pdf Слайды]] [[https://youtu.be/1woPeqJRHwU Запись лекции]]
 
 
'''Лекция 6''' (02.03.2022) Линейная регрессия и градиентный спуск. Масштабирование признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture06-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=EXG0lrN5s1M&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=62 Запись лекции]]
 
 
'''Лекция 7''' (09.03.2022) Градиентный спуск и функции потерь в регрессии. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture07-linregr.pdf Слайды]] [[https://www.youtube.com/watch?v=qCGXMAChhK0&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=74 Запись лекции]]
 
 
'''Лекция 8''' (16.03.2022) Линейная классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture08-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=VF4newaSUYQ&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=85 Запись лекции]]
 
 
'''Лекция 9''' (23.03.2022) Метрики качества классификации.[[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture09-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=my1tFmPr6vo&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=91 Запись лекции]]
 
 
'''Лекция 10''' (06.04.2022) Метрики качества классификации (продолжение). Логистическая регрессия. SVM. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture10-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=6ZcwmZqPZFk&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=105 Запись лекции]]
 
 
'''Лекция 10.5''' (12.04.2022) Логистическая регрессия и SVM. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture10_2-linclass.pdf Слайды]] [[https://www.youtube.com/watch?v=8NBCtA4hTjE&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=109 Запись лекции]]
 
 
'''Лекция 11''' (13.04.2022) Решающие деревья. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture11-trees.pdf Слайды]] [[https://www.youtube.com/watch?v=50yCqwpztAY&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=112 Запись лекции]]
 
 
'''Лекция 12''' (20.04.2022) Решающие деревья. Композиции моделей. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture12-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=Uy4Akp7oVi8&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=124 Запись лекции]]
 
 
'''Лекция 13''' (27.04.2022) Бэггинг и случайные леса. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture13-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=b5Qz2-sRYa8&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=133 Запись лекции]]
 
 
'''Лекция 14''' (11.05.2022) Градиентный бустинг. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture14-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=U_u1SFvNsjU&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=135 Запись лекции]]
 
 
'''Лекция 15''' (25.05.2022) Градиентный бустинг (продолжение). Отбор признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture15-ensembles.pdf Слайды]] [[https://www.youtube.com/watch?v=9K1P2ATcg1o&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=145 Запись лекции]]
 
 
'''Лекция 16''' (01.06.2022) Отбор признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/lectures/lecture16-reduction.pdf Слайды]] [[https://youtu.be/rxiORUw-nKs?list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ Запись лекции]]
 
 
'''Лекция 17''' (08.06.2022) Кластеризация. [[ Слайды]] [[https://youtu.be/MFc5mOUyCa0?list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ Запись лекции]]
 
 
'''Лекция 18''' (15.06.2022) Задача ранжирования. [[ Слайды]] [[https://youtu.be/yvBmaw_brQY?list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ Запись лекции]]
 
  
 
== Семинары ==
 
== Семинары ==
  
'''Семинар 1''' (19.01.2022). Немного про Jupyter notebook и numpy. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem01_numpy.ipynb Ноутбук]]  [[https://www.youtube.com/watch?v=QrgRR6zeLQk&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=9 Запись одного из семинаров]]
 
 
'''Семинар 2''' (26.01.2022). pandas. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem02_pandas.ipynb Ноутбук]]  [[https://www.youtube.com/watch?v=YqA_qCZ3RIw&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=18 Запись одного из семинаров]]
 
 
'''Семинар 3''' (02.02.2022). KNN. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem3_sklearn_knn/sem03-sklearn-knn.ipynb Ноутбук]] [[https://youtu.be/HIEe64po7us Запись одного из семинаров]]
 
 
'''Семинар 4''' (09.02.2022). Визуализация данных. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem04_visualization.ipynb Ноутбук]] [[https://youtu.be/qbKZStxCJAs Запись одного из семинаров]]
 
 
'''Семинар 5''' (16.02.2022) ООП. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem05_OOP.ipynb Ноутбук]] [[https://youtu.be/JReiu0t1qjo Запись одного из семинаров]]
 
 
'''Семинар 6''' (02.03.2022) Линейная регрессия. [[https://github.com/hse-ds/iad-intro-ds/tree/master/2022/seminars/sem06_linreg Ноутбук]] [[https://www.youtube.com/watch?v=ZtsDnF9LaH4&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=72 Запись одного из семинаров], [https://www.youtube.com/watch?v=bzHVfArfg-g&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=74 Продолжение]]
 
 
'''Семинар 7''' (09.03.2022) Градиентный спуск. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem07_grad.ipynb Ноутбук]] [[https://www.youtube.com/watch?v=LHSsOkuCoSE&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=82 Запись одного из семинаров], [https://www.youtube.com/watch?v=iOyXdI7HEK8&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=92 Продолжение]]
 
 
'''Семинар 8''' (16.03.2022) Бинарная классификация. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem08_linclass.ipynb Ноутбук]] [[https://www.youtube.com/watch?v=w1zZD1kxPaU&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=100 Запись одного из семинаров]]
 
 
'''Семинар 9''' (13.04.2022) Логистическая регрессия. SVM. ROC-кривая. [[https://github.com/hse-ds/iad-intro-ds/tree/master/2022/seminars/sem09_logit_svm Ноутбук]] [[https://www.youtube.com/watch?v=jqtqvOxF6zM&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=113 Запись одного из семинаров]]
 
 
'''Семинар 10''' (20.04.2022) Обработка текстов: токенизация, лемматизация, стемминг. Bag-of-words и TF-IDF. Регулярные выражения. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem10_texts.ipynb Ноутбук]] [[https://www.youtube.com/watch?v=pMweNipkw0o&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=128 Запись одного из семинаров]]
 
 
'''Семинар 11''' (27.04.2022) Многоклассовая классификация. Калибровка вероятностей. Отбор признаков. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem11_multiclass_calibration.ipynb Ноутбук]] [[https://www.youtube.com/watch?v=eGKM8uLUskM&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=136 Запись одного из семинаров]]
 
 
'''Семинар 12''' (11.05.2022) Решающие деревья. [[https://github.com/hse-ds/iad-intro-ds/tree/master/2022/seminars/sem12_trees Ноутбук]] [[https://www.youtube.com/watch?v=zfQ6Utt5SWg&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=140 Запись одного из семинаров]]
 
 
'''Семинар 13''' (25.05.2022) Случайный лес: Bias-Variance decomposition and tradeoff; Bagging; Out-of-bag Error; Feautre importance [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem13_rf.ipynb Ноутбук]] [[https://youtu.be/zVHY2qUu6T8 Запись одного из семинаров]]
 
 
'''Семинар 14''' (01.06.2022) Бустинг. Часть 1 (Идея подхода, функции потерь, особенности GB)[[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem14_boosting_part1.ipynb Ноутбук]] [[https://youtu.be/DJS6o-xmiRQ Запись одного из семинаров]]
 
 
'''Семинар 15''' (08.06.2022) Бустинг. Часть 2 (Различные реализации бустинга) [[https://github.com/hse-ds/iad-intro-ds/tree/master/2022/seminars/sem15_boostings Ноутбук]] [[https://youtu.be/T-2uxRNTkMs Запись одного из семинаров]]
 
 
'''Семинар 16''' (15.06.2022) Кластеризация [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/seminars/sem16_clustering.ipynb Ноутбук]] [[https://youtu.be/O1GDOjpfaxs Запись одного из семинаров]]
 
  
 
== Консультации ==
 
== Консультации ==
==== Консультации семинаристов ====
 
# ИАД-1, ''Нарек Авландян'', консультация 26.01.2022 [[https://www.youtube.com/watch?v=lKH-PnYNXvw&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=19 Запись]]
 
# ИАД-4, ''Владимир Омелюсик'', консультация 26.01.2022 [[https://www.youtube.com/watch?v=Cvd8tdK8CVo&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=20 Запись]]
 
# ИАД-4, ''Владимир Омелюсик'', консультация 02.03.2022 [[https://www.youtube.com/watch?v=BKWy5UiF3gM&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=66 Запись]]
 
 
==== Семинары в формате консультаций (16.03.2022) ====
 
# БИ-1 [26 min], ''Павел Ханин'' [[https://www.youtube.com/watch?v=FBCX2Ex2N4s&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=86 Запись]]
 
# ИАД-7, ''Надежда Чиркова'': Практика линейной регрессии (на примере кредитного скоринга). [[https://www.youtube.com/watch?v=TV2O-UqRHYo&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=87 Запись]]
 
# ИАД-5, ''Кирилл Сафонов'': Mini-batch GD, задача кредитного скоринга от А до Я. [[https://www.youtube.com/watch?v=ZBGmKkQab20&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=88 Запись]]
 
# ИАД-4, ''Владимир Омелюсик'': Pipeline линрега, ответы на вопросы, матричные производные. [[https://www.youtube.com/watch?v=iOyXdI7HEK8&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=91 Запись]]
 
# ИАД-2 [26 min], ''Илья Косарев'' [[https://www.youtube.com/watch?v=lK0R-iJM7O4&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=92 Запись]]
 
# ИАД-8, ''Дмитрий Семёнов'': Ответы на вопросы по ДЗ-4 [[https://www.youtube.com/watch?v=hwLPJbQJuGM&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=97 Запись]]
 
# ИАД-3, ''Елена Кантонистова'': Счётчики, масштабирование признаков, пайпланы. [[https://www.youtube.com/watch?v=CdoR3vVzw38&list=PLEwK9wdS5g0rco8Fan1hA-bV2DXOyRkXQ&index=103 Запись]]
 
 
==== Консультации Евгения Соколова ====
 
# Консультация с ответами на вопросы (aka Q&A), ''Евгений Соколов'', 21.03.2022 [[https://www.youtube.com/watch?v=PPd_3mJBZcg Запись]]
 
# Консультация перед контрольной, ''Евгений Соколов'', 16.05.2022 [[https://www.youtube.com/watch?v=y7oeGcSJaFc Запись]]
 
  
 
== Практические задания ==
 
== Практические задания ==
  
 
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Все дедлайны в 23:59 по московскому времени.  
 
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Все дедлайны в 23:59 по московскому времени.  
 
В некоторых группах домашние задания могут отличаться. Уточняйте у семинариста.
 
 
'''Практическое задание 1 - numpy''' Мягкий дедлайн - 29.01.2022, Жесткий дедлайн 03.02.2022. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw01-numpy.ipynb Ноутбук]]
 
 
'''Практическое задание 2 - pandas''' Мягкий дедлайн - 10.02.2022, Жесткий дедлайн - 15.02.2022. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw02_pandas.ipynb Ноутбук]]
 
 
'''Практическое задание 3 - EDA''' Мягкий дедлайн - 01.03.2022, Жесткий дедлайн - 08.03.2022. [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw03-EDA/hw03-EDA.ipynb Ноутбук]]
 
 
'''Практическое задание 4 - kNN, linreg''' Мягкий дедлайн - 17.03.2022, Жесткий дедлайн - 25.03.2022 [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw04-sklearn-knn-linreg.ipynb Ноутбук]]
 
 
'''Практическое задание 5 - Градиентный спуск''' Мягкий дедлайн - 12.04.2022, Жесткий дедлайн - 19.04.2022 [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw05_gd.ipynb Ноутбук]]
 
 
'''Практическое задание 6 - Классификация текстов''' Мягкий дедлайн - 11.05.2022, 23:59, Жесткий дедлайн - 18.05.2022, 23:59 [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw06-text/hw06.ipynb Ноутбук]]
 
 
'''Практическое задание 7 - Решающие деревья. Бэггинг и случайный лес. ''' Мягкий дедлайн - 5.06.2022, 23:59, Жесткий дедлайн - 12.06.2022, 23:59 [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw07-trees/hw07-trees-rf.ipynb Ноутбук]]
 
 
'''Практическое задание 8 - Градиентный бустинг и DBSCAN своими руками. ''' Мягкий (он же жёсткий) дедлайн: 19 июня, 23:59 [[https://github.com/hse-ds/iad-intro-ds/blob/master/2022/homeworks/hw08_boosting_clustering.ipynb Ноутбук]]
 
 
== Соревнования ==
 
 
===Правила участия и оценивания===
 
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.
 
 
Студент, занявший в соревновании место i, получает оценку
 
 
10 - 10 * (i - 1)  / M,
 
 
где M — количество студентов, принявших участие в соревновании;
 
 
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.
 
 
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):
 
 
«Имя Фамилия номер_группы»
 
 
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.
 
  
 
== Контрольная работа ==
 
== Контрольная работа ==
  
Контрольная работа состоится 18 мая на лекции в 11:10.
+
Контрольная работа обычно проводится в мае на одной из лекций.
  
Вопросы для подготовки: https://docs.google.com/document/d/1s9NLSTWIgt00GK6IdRz-2fbAvxR6D9MLLc6ollmeyOo/edit?usp=sharing
+
Вопросы для подготовки прошлого года (для примера): https://docs.google.com/document/d/1s9NLSTWIgt00GK6IdRz-2fbAvxR6D9MLLc6ollmeyOo/edit?usp=sharing
  
 
[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Демо-вариант]
 
[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Демо-вариант]
  
На контрольной будет 4 вопроса. Два из них — по теории, где нужно будет объяснить одну из тем, разобранных на лекциях, или ответить на вопросы на понимание. Два вопроса — это задачи, примеры приведены ниже (но это просто для тренировки, список не исчерпывающий).
 
 
Примеры задач:
 
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]
 
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]
 
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]
 
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]
 
 
За КР всем 10!
 
 
<br />
 
________________________
 
 
'''UPD.''' Написание контрольной для тех, кто пропустил ее ''по уважительной причине'', будет '''в среду (1 июня) в 11:00'''. Если вы планируете прийти, пожалуйста, заполните [https://docs.google.com/forms/d/e/1FAIpQLSf8yFNJCZvUM6EL6z8R8VbTsjT-JZNk_vI2ba23If1Xqv9uqg/viewform?usp=sf_link эту форму]
 
  
 
== Экзамен ==
 
== Экзамен ==
  
[https://docs.google.com/document/d/1uqqCOKF8cmgwuFRoMAr_0tcfTc5P7jz7g2Y5iFQTri8/edit?usp=sharing Вопросы для подготовки к экзамену]  
+
[https://docs.google.com/document/d/1uqqCOKF8cmgwuFRoMAr_0tcfTc5P7jz7g2Y5iFQTri8/edit?usp=sharing Вопросы для подготовки к экзамену прошлого года]  
 
+
Они мало отличаются от вопросов для подготовки к контрольной, так что давайте считать, что пробным вариантом будет сама контрольная, которую вы писали.
+
 
+
'''22 июня (среда) в 11:00''' мы пишем экзамен. Он будет длиться ''2 часа (120 минут)'', все будет в зуме, правила действуют такие же, как и на контрольной.
+
  
 
==Полезные материалы==
 
==Полезные материалы==
 
===Курсы по машинному обучению и анализу данных===
 
===Курсы по машинному обучению и анализу данных===
Максимально близко к материалам курса: [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Специализация "Машинное обучение: от статистики до нейросетей"] (речь про два курса: "Основы машинного обучения" и "Продвинутые методы машинного обучения")
+
Максимально близко к материалам курса: [https://openedu.ru/course/hse/INTRML/ Курс "Основы машинного обучения"]
  
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"]
+
Для тех, кто хочет подтянуть математику: [https://www.coursera.org/specializations/maths-for-data-analysis Специализация "Математика для анализа данных"] (сейчас в процессе переноса на online.hse.ru)
  
 
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]
 
Более сложная версия этого курса с ПМИ: [[Машинное обучение 1]]
Строка 279: Строка 104:
 
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
 
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
 
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
 
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
 
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
 
 
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]
 
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]
  
Строка 289: Строка 112:
 
===Книги===
 
===Книги===
 
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
 
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
 
 
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.
 
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.
  
 
== Страницы прошлых лет ==
 
== Страницы прошлых лет ==
 +
 +
[[Основы_машинного_обучения/2022 | 2021/22 учебный год]]
  
 
[[Введение_в_анализ_данных_(майнор_ИАД) | 2020/21 учебный год]]
 
[[Введение_в_анализ_данных_(майнор_ИАД) | 2020/21 учебный год]]

Версия 11:25, 18 января 2023

О курсе

Курс читается для студентов 2-го курса майнора ИАД в 3-4 модулях.

Проводится с 2015 года.

Лектор: Соколов Евгений Андреевич

Лекции проходят онлайн по средам в 13:00 в zoom.

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Записи занятий

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://t.me/hse_iad_2023

Чат в telegram для флуда: https://t.me/+rnVX7uhGa71kZTBi

Ссылка на курс в Anytask: https://anytask.org/course/??

Таблица с оценками: https://docs.google.com/spreadsheets/d/1s8f-IpiWjsIhdPotECDLfyd20kCE7IkL-5mGRLpqFFg/edit?usp=sharing

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Материалы семинаров Инвайт в anytask

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
  • Практические домашние работы на Python
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

Округление арифметическое.

Автоматы

Если у вас накопленная оценка >= N баллов и за контрольную >= M баллов, то вы можете перенести эту накопленную в итоговую. Или, если хотите, можете отказаться и пойти на экзамен. Но по умолчанию всем, кто может получить автомат, мы ставим автомат.

Накопленная оценка считается по формуле: (0.4 * ДЗ + 0.1 * ПР + 0.2 * КР) / 0.7.

В критериях на автомат все оценки считаются без округления.

Пороги N и M определяются незадолго до сессии 4 модуля.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Семинары

Консультации

Практические задания

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов. Все дедлайны в 23:59 по московскому времени.

Контрольная работа

Контрольная работа обычно проводится в мае на одной из лекций.

Вопросы для подготовки прошлого года (для примера): https://docs.google.com/document/d/1s9NLSTWIgt00GK6IdRz-2fbAvxR6D9MLLc6ollmeyOo/edit?usp=sharing

Демо-вариант


Экзамен

Вопросы для подготовки к экзамену прошлого года

Полезные материалы

Курсы по машинному обучению и анализу данных

Максимально близко к материалам курса: Курс "Основы машинного обучения"

Для тех, кто хочет подтянуть математику: Специализация "Математика для анализа данных" (сейчас в процессе переноса на online.hse.ru)

Более сложная версия этого курса с ПМИ: Машинное обучение 1

Ещё материалы:

Статьи

Книги

  • Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
  • James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

Страницы прошлых лет

2021/22 учебный год

2020/21 учебный год

2019/20 учебный год

2018/19 учебный год

2017/18 учебный год

2016/17 учебный год

2015/16 учебный год