Прикладная статистика в машинном обучении 22/23 — различия между версиями
Xumuk mk (обсуждение | вклад) м |
Bdemeshev (обсуждение | вклад) |
||
(не показано 36 промежуточных версии 3 участников) | |||
Строка 3: | Строка 3: | ||
Курс читается для студентов 3-го курса в 1-2 модулях. | Курс читается для студентов 3-го курса в 1-2 модулях. | ||
− | '''Лектор:''' [https://t.me/boris_demeshev | + | '''Лектор:''' [https://t.me/boris_demeshev Борис Демешев] |
Лекции проходят в Пт, 9:30-10:50, R305. | Лекции проходят в Пт, 9:30-10:50, R305. | ||
Строка 12: | Строка 12: | ||
=== Семинары === | === Семинары === | ||
+ | |||
+ | (!) Сверяйтесь с вашим актуальным расписанием, возможны изменения. | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
− | ! Группа !! Семинарист !! Учебный ассистент || Время занятий || Аудитория/ссылка | + | ! Группа !! Семинарист !! Учебный ассистент || Время занятий || Аудитория/ссылка || Способ связи |
|- | |- | ||
− | | БПМИ201 МОП || Антон Золотарёв || Рустэм Хутиев || Сб, 9:30-10:50 || D504 | + | | БПМИ201 МОП || Антон Золотарёв || Рустэм Хутиев || Сб, 9:30-10:50 || D504 || [https://t.me/+HMfOwtXboWFkOGQy ТГ-чат] |
|- | |- | ||
− | | БПМИ202 МОП || Максим Каледин || Валерия Кондратьева || Вт, 16:20–17:40 || D504 | + | | БПМИ202 МОП || Максим Каледин || Валерия Кондратьева || Вт, 16:20–17:40 || D504 || [https://t.me/+cZxH1CUGh500ZTky ТГ-чат] |
|- | |- | ||
− | | БПМИ203 МОП || Дарья Демидова || Никита Горевой || Вт, 16:20–17:40 || D502 | + | | БПМИ203 МОП || Дарья Демидова || Никита Горевой || Вт, 16:20–17:40 || D502 || [https://t.me/psmo2022mop203 ТГ-чат] |
|} | |} | ||
Строка 30: | Строка 32: | ||
* [https://github.com/ZolotarevStat/psmo_22_23 GitHub с материалами] | * [https://github.com/ZolotarevStat/psmo_22_23 GitHub с материалами] | ||
− | * | + | * [https://docs.google.com/spreadsheets/d/1w-hkjL4MjyCFZ9fhexibF67pgwG_1m43jrtvvnEU-IM/edit?usp=sharing ведомость] |
− | == | + | == Заметочки == |
+ | |||
+ | Спасибо Нине за [https://exuberant-arthropod-be8.notion.site/062ad600596f4e1ea6b4f45c67acc1ba конспекты в notion] :) | ||
=== Лекции === | === Лекции === | ||
− | [ | + | [2 сентября] '''Лекция 1:''' Энтропия и дивергенция Кульбака-Лейблера. |
+ | * [https://www.youtube.com/watch?v=hk0h3s4UOug&list=PLGpdGKp2JUvyocYJj6vMWtBv-BPNuGppx&index=1 Видео] | ||
+ | * [https://exuberant-arthropod-be8.notion.site/1-02-09-5e107ea1c4054594b8f37d955db8a2b0 Конспект в Notion] | ||
− | + | [9 сентября] '''Лекция 2:''' Дифференциальная энтропия, распределения с максимальной энтропией, критерий Келли. | |
+ | * [https://www.youtube.com/watch?v=i4yZDlf-b5A&list=PLGpdGKp2JUvyocYJj6vMWtBv-BPNuGppx&index=2 Видео] | ||
+ | * [https://exuberant-arthropod-be8.notion.site/2-09-09-d484faa85d5149318cfb0849b06f02bc Конспект в Notion] | ||
− | [ | + | [16 сентября] '''Лекция 3:''' Связь функции правдоподобия и кросс-энтропии, информация Фишера. |
+ | * [https://www.youtube.com/watch?v=1TTjk6-uU0c&list=PLGpdGKp2JUvyocYJj6vMWtBv-BPNuGppx&index=3 Видео] | ||
+ | * [https://exuberant-arthropod-be8.notion.site/3-16-09-9b41574d09aa472d859fe410e0aaed48 Конспект в Notion] | ||
− | + | [23 сентября] '''Лекция 4:''' Неравенство Крамера—Рао, асимптотическая нормальность ММП-оценок, тест Вальда. | |
+ | * [https://www.youtube.com/watch?v=A8k9TFQb-sg&list=PLGpdGKp2JUvyocYJj6vMWtBv-BPNuGppx&index=4 Видео] | ||
+ | * [https://exuberant-arthropod-be8.notion.site/4-23-09-f030d76ed4ee46a0952e824b205ece56 Конспект в Notion] | ||
− | [ | + | [30 сентября] '''Лекция 5:''' Тесты LR, LM, W. |
+ | * [https://zoom.us/rec/share/HIJy9gec3eqwliX5Fwo_RkktERXYdA0gXjwd2ZUZbQ4aSXgH1dn1_GYncHwtH_tV.QdmgGBF3GpFK9_ZH?startTime=1664518968000 Видео] пароль:w^+a$%R8 | ||
+ | * [https://exuberant-arthropod-be8.notion.site/5-30-09-b6853ef74328441584416d47ca7c40f8 конспект 5 в notion] | ||
+ | * [https://disk.yandex.ru/i/DNBL2M1OEBvoGQ Конспект (рукописный)] | ||
− | + | [7 октября] '''Лекция 6:''' EM-алгоритм: общее описание, подход, примеры. | |
+ | * [https://zoom.us/rec/share/hZEQ-vAhRpd-C8Jq_tr9iavvalWp2PKbcrE7fAUGn_5EUeoJDgafFdzWD6CpENM_.M5lADnQxRHJZV1m2?startTime=1665124431000 Видео] пароль:#y9X7nq8 | ||
+ | * [https://exuberant-arthropod-be8.notion.site/6-07-10-bb9c7855d1f44862b00f2ca81be9c430 конспект 6 в notion] | ||
− | [ | + | * [https://disk.yandex.ru/i/HdYwDPHeGe4_KQ Конспект (рукописный)] |
− | + | [14 октября] '''Лекция 7:''' EM-алгоритм: формулировка в max-max виде. | |
+ | * [https://zoom.us/rec/share/s4qHKfI7RUm254wkeH9ccEiuyUByvsI7BBoLnG4pwyOiPsMu6_AbqCWxLhT6RnZb.dOS6so7uFsdbVsV9?startTime=1665729267000 Видео] пароль:i2us?uVN | ||
+ | * [https://disk.yandex.ru/i/OIjdpj3NZCNsCA Конспект (рукописный)] | ||
− | [ | + | * [https://exuberant-arthropod-be8.notion.site/7-14-10-506cda9256c24acf96b2dd320b66dae0 Конспект (notion)] |
− | + | [21 октября] '''Лекция 8:''' Поправки на множественные сравнения | |
+ | * [https://zoom.us/rec/play/9mkJKJDm8GqxsNEACwMoAXDv-1SF5gBvXJ3pzKhzHHI722NvgD8Gj6nEfdv3wpAUaesl50pkjVOsysGT.D-RrwD0iRTYjIeOB Видео] пароль:+8C+YrEW | ||
− | [ | + | * [https://disk.yandex.ru/i/sh-AnXny6cRkeg Конспект (рукописный)] |
− | + | * [https://exuberant-arthropod-be8.notion.site/8-21-10-eedef8b3a7984a1a86a381f67704b59c Конспект (notion)] | |
− | + | Астрологи объявили сессию... | |
− | + | [11 ноября] '''Лекция 9:''' Бутстреп: наивный и t-статистичный | |
+ | * [https://zoom.us/rec/play/5SkfJ20YovqX-PyADmEy9cQhiIdgj7ut_OQJ3Fdo8-cKsGKSTdNuq3vrRPvREBpT_vEjT9q_ZV6EgFM0.uLHihq4OTzTQd6PI Видео] пароль:EA!i^z24 | ||
− | [ | + | * [https://disk.yandex.ru/d/ZTlKXJE1WkjIgw Конспект (рукописный)] |
− | + | * [https://exuberant-arthropod-be8.notion.site/9-11-11-d9700efcd0644fcb9a2a6e354878b1c1 Конспект (notion)] | |
− | ... | + | * [https://www.youtube.com/watch?v=zwpNKYV9iDg видео-семинар(Максим Каледин)] [https://disk.yandex.ru/d/gqOHZbgySNA4iA код(решённый)] [https://disk.yandex.ru/d/jURByurmx9dnMw код(нерешённый)] |
− | .. | + | [25 ноября] '''Лекция 10:''' Бустреп посложнее, квантильная и обычная регрессия |
+ | * [https://zoom.us/rec/share/QsLcFcDH9rfx-MH1N0PsxkD_31871YDTemirZigZe6riVrpUAbhV8g7KaW_puhta.k-nErVQvhsURde5P Видео] пароль:9X3w0+Xt | ||
− | + | * [https://disk.yandex.ru/i/qIoFESP3SrY88A Конспект (рукописный)] | |
− | ... | + | * [https://exuberant-arthropod-be8.notion.site/10-25-11-9211ab0a92a14c13afa25a6997bde61a Конспект (notion)] |
− | + | ||
− | ... | + | |
+ | [2 декабря] '''Лекция 11:''' Стат вывод в регрессии, робастные стандартные ошибки, древний способ быстрой кросс-валидации | ||
+ | * [https://disk.yandex.ru/d/htdkUlswvXv0mw Видео] | ||
+ | |||
+ | * [https://disk.yandex.ru/i/c25Dk3lvtr5XQw Конспект (рукописный)] | ||
+ | |||
+ | [9 декабря] '''Лекция 12:''' Парадокс Джеймса-Стейна, L2-регуляризация как добавление вымышленных наблюдений | ||
+ | * [https://disk.yandex.ru/d/htdkUlswvXv0mw Видео] | ||
+ | |||
+ | * [https://disk.yandex.ru/i/g_tgvJuLyp9Ibg Конспект (рукописный)] | ||
+ | |||
+ | [16 декабря] '''Лекция 13:''' Байесовский вывод в линейной регрессии, оценки maximum a posteriori (MAP) | ||
+ | * [https://disk.yandex.ru/d/htdkUlswvXv0mw Видео] | ||
+ | |||
+ | * [https://disk.yandex.ru/d/CvTV5f3-ykDHDw Конспект (рукописный)] | ||
+ | |||
+ | * [https://disk.yandex.ru/d/R1hEpfprPfKkeQ гауссовские процессы(ноутбук)] [https://disk.yandex.ru/d/tkIMazBD7GGcig гауссовские процессы(ноутбук, решённый)] | ||
=== Домашние задания === | === Домашние задания === | ||
− | + | ==== ДЗ-1 ==== | |
− | + | Теоретическая часть, дедлайн 13 ноября 2022, 21:00. | |
+ | https://github.com/bdemeshev/psmo_2022-23/tree/main/ha_01a | ||
− | + | Практическая часть, дедлайн 20 ноября 2022, 21:00. | |
+ | https://github.com/bdemeshev/psmo_2022-23/tree/main/ha_01b | ||
+ | |||
+ | Обратите внимание, ежи за здоровый крепкий сон, поэтому дедлайны стоят до 21:00. | ||
+ | |||
+ | Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса. | ||
+ | |||
+ | ==== ДЗ-2 ==== | ||
+ | |||
+ | Компьютерно-теоретическое ДЗ. | ||
+ | https://github.com/bdemeshev/psmo_2022-23/raw/main/ha_02/psmo-ha_02.pdf | ||
+ | |||
+ | Дедлайн 4 декабря 2022, 23:59 (!!...здоровый сон на ваше усмотрение). | ||
+ | |||
+ | UPD: не успели bca-бутстрэп на лекции, поэтому этот пункт не обязательный. | ||
+ | |||
+ | Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса. | ||
+ | |||
+ | ==== ДЗ-3 ==== | ||
+ | Компьютерно-теоретическое ДЗ. | ||
+ | https://github.com/bdemeshev/psmo_2022-23/raw/main/ha_03/psmo-ha_03.pdf | ||
+ | |||
+ | Дедлайн 18 декабря 2022, 23:59 | ||
+ | |||
+ | Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса. | ||
=== Квизы === | === Квизы === | ||
− | Квизы выдаются в начале семинара строго на 10-15 минут | + | Квизы выдаются в начале семинара строго на 10-15 минут. |
В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, '''после которой''' на соответствующих семинарах пройдут квизы. | В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, '''после которой''' на соответствующих семинарах пройдут квизы. | ||
Строка 95: | Строка 158: | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
− | ! На семинаре № !! После лекции !! Тема || | + | ! На семинаре № !! После лекции !! Тема |
+ | |- | ||
+ | | 3 || 3 || Теория информации | ||
+ | |- | ||
+ | | 6 || 6 || Тесты LR,LM,W | ||
+ | |- | ||
+ | | 9 || 8 || ЕМ-алгоритм | ||
|- | |- | ||
− | | | + | | 10 || 10 || Бутстреп |
|} | |} | ||
Строка 104: | Строка 173: | ||
===Контрольная работа=== | ===Контрольная работа=== | ||
− | Контрольная работа является письменной формой контроля | + | Контрольная работа является письменной формой контроля. В контрольную работу войдут задачи по темам до Лекции 8 включительно. |
− | + | ||
− | + | ||
+ | Контрольная будет 18 ноября (пт) в 09:30(МСК), вместо лекции и географически в том же месте. Можно использовать шпаргалку А4 любого содержания. | ||
[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/midterm_info.pdf Задачи для подготовки прошлых лет]] | [[https://github.com/V-Marco/psmo_20_21/blob/master/misc/midterm_info.pdf Задачи для подготовки прошлых лет]] |
Текущая версия на 15:25, 15 февраля 2023
Содержание
О курсе
Курс читается для студентов 3-го курса в 1-2 модулях.
Лектор: Борис Демешев
Лекции проходят в Пт, 9:30-10:50, R305.
Семинаристы: Антон Золотарёв, Дарья Демидова, Максим Каледин
Учебные ассистенты: Рустэм Хутиев, Валерия Кондратьева, Никита Горевой,
Семинары
(!) Сверяйтесь с вашим актуальным расписанием, возможны изменения.
Группа | Семинарист | Учебный ассистент | Время занятий | Аудитория/ссылка | Способ связи |
---|---|---|---|---|---|
БПМИ201 МОП | Антон Золотарёв | Рустэм Хутиев | Сб, 9:30-10:50 | D504 | ТГ-чат |
БПМИ202 МОП | Максим Каледин | Валерия Кондратьева | Вт, 16:20–17:40 | D504 | ТГ-чат |
БПМИ203 МОП | Дарья Демидова | Никита Горевой | Вт, 16:20–17:40 | D502 | ТГ-чат |
Полезные ссылки
Заметочки
Спасибо Нине за конспекты в notion :)
Лекции
[2 сентября] Лекция 1: Энтропия и дивергенция Кульбака-Лейблера.
[9 сентября] Лекция 2: Дифференциальная энтропия, распределения с максимальной энтропией, критерий Келли.
[16 сентября] Лекция 3: Связь функции правдоподобия и кросс-энтропии, информация Фишера.
[23 сентября] Лекция 4: Неравенство Крамера—Рао, асимптотическая нормальность ММП-оценок, тест Вальда.
[30 сентября] Лекция 5: Тесты LR, LM, W.
- Видео пароль:w^+a$%R8
- конспект 5 в notion
- Конспект (рукописный)
[7 октября] Лекция 6: EM-алгоритм: общее описание, подход, примеры.
- Видео пароль:#y9X7nq8
- конспект 6 в notion
[14 октября] Лекция 7: EM-алгоритм: формулировка в max-max виде.
- Видео пароль:i2us?uVN
[21 октября] Лекция 8: Поправки на множественные сравнения
- Видео пароль:+8C+YrEW
Астрологи объявили сессию...
[11 ноября] Лекция 9: Бутстреп: наивный и t-статистичный
- Видео пароль:EA!i^z24
[25 ноября] Лекция 10: Бустреп посложнее, квантильная и обычная регрессия
- Видео пароль:9X3w0+Xt
[2 декабря] Лекция 11: Стат вывод в регрессии, робастные стандартные ошибки, древний способ быстрой кросс-валидации
[9 декабря] Лекция 12: Парадокс Джеймса-Стейна, L2-регуляризация как добавление вымышленных наблюдений
[16 декабря] Лекция 13: Байесовский вывод в линейной регрессии, оценки maximum a posteriori (MAP)
Домашние задания
ДЗ-1
Теоретическая часть, дедлайн 13 ноября 2022, 21:00. https://github.com/bdemeshev/psmo_2022-23/tree/main/ha_01a
Практическая часть, дедлайн 20 ноября 2022, 21:00. https://github.com/bdemeshev/psmo_2022-23/tree/main/ha_01b
Обратите внимание, ежи за здоровый крепкий сон, поэтому дедлайны стоят до 21:00.
Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса.
ДЗ-2
Компьютерно-теоретическое ДЗ. https://github.com/bdemeshev/psmo_2022-23/raw/main/ha_02/psmo-ha_02.pdf
Дедлайн 4 декабря 2022, 23:59 (!!...здоровый сон на ваше усмотрение).
UPD: не успели bca-бутстрэп на лекции, поэтому этот пункт не обязательный.
Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса.
ДЗ-3
Компьютерно-теоретическое ДЗ. https://github.com/bdemeshev/psmo_2022-23/raw/main/ha_03/psmo-ha_03.pdf
Дедлайн 18 декабря 2022, 23:59
Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса.
Квизы
Квизы выдаются в начале семинара строго на 10-15 минут.
В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, после которой на соответствующих семинарах пройдут квизы.
На семинаре № | После лекции | Тема |
---|---|---|
3 | 3 | Теория информации |
6 | 6 | Тесты LR,LM,W |
9 | 8 | ЕМ-алгоритм |
10 | 10 | Бутстреп |
Оценка за квизы формируется как среднее по всем квизам.
Контрольная работа
Контрольная работа является письменной формой контроля. В контрольную работу войдут задачи по темам до Лекции 8 включительно.
Контрольная будет 18 ноября (пт) в 09:30(МСК), вместо лекции и географически в том же месте. Можно использовать шпаргалку А4 любого содержания.
[Задачи для подготовки прошлых лет]
[Задания контрольной прошлых лет]
Экзамен
Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.
Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.
TBA
Отчётность по курсу и критерии оценки
Итоговая оценка за курс
Итоговая оценка за курс рассчитывается по следующей формуле:
Итог = 0.7 * Накоп + 0.3 * Экз.
В этой формуле
Накоп = 0.2 * Квиз + 0.4 * avg(ДЗ1,ДЗ2,ДЗ3) + 0.4 * КР,
где
- Квиз – средняя оценка за все квизы.
- ДЗ1, ДЗ2, ДЗ3 – оценки за ДЗ1,ДЗ2 и ДЗ3 соответственно; avg -- среднее
- КР – оценка за контрольную работу.
Экз =
- Накопленная оценка, если она меньше или равна 7.
- 7, если Накопленная оценка больше 7.
- Оценка за устный экзамен, если прийти и сдать его.
Округление арифметическое, округляется только итоговая оценка.
Литература
- Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.
- Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference – хороший курс магистерского уровня, охватывающий большое количество тем из теории вероятностей и статистики. Основной фокус делается на прикладных применениях и методологии, поэтому книга содержит ровно столько математики, сколько необходимо для понимания практических аспектов. Тем не менее, качество изложенного материала на высоте: все математические утверждения доказываются и сопровождаются подробной интуицией.
- David Williams. Weighing the Odds. A Course in Probability and Statistics – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.