МОВС Математика для анализа данных (ММОВС23, 1-2 модули) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
м (add notes on sem5) |
м (UPD after sem6) |
||
| Строка 113: | Строка 113: | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| − | ! Занятие !! Тема !! Дата !! | + | ! Занятие !! Тема !! Дата !! Дополнительные материалы |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23 || | + | | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23 |
| − | [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL | + | || [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL |
[http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха | [http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха | ||
| − | + | ||
[https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"] | [https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"] | ||
[https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных | [https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=cybdNfzKp_4&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=NzJWQRya9OA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&index=6&pp=iAQB Ч.2]] || [Конспекты: [https://t.me/c/1949286954/6/846 matdiff (пр-е)], [https://t.me/c/1949286954/6/847 LU]] Матричные производные (продолжение). LU-разложение || 21.09.23 || | + | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=cybdNfzKp_4&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=NzJWQRya9OA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&index=6&pp=iAQB Ч.2]] || [Конспекты: [https://t.me/c/1949286954/6/846 matdiff (пр-е)], [https://t.me/c/1949286954/6/847 LU]] Матричные производные (продолжение). LU-разложение || 21.09.23 || |
[https://www.youtube.com/watch?v=zReIMeZseys&list=PLcsjsqLLSfNAp7iztz2H8iSP2vu79dIbW Видео] про решение систем и LU-разложения от Ивана Оседелец | [https://www.youtube.com/watch?v=zReIMeZseys&list=PLcsjsqLLSfNAp7iztz2H8iSP2vu79dIbW Видео] про решение систем и LU-разложения от Ивана Оседелец | ||
[https://www.youtube.com/watch?v=MsIvs_6vC38&list=PLE7DDD91010BC51F8 Видео] про вывод LU-разложения от MIT | [https://www.youtube.com/watch?v=MsIvs_6vC38&list=PLE7DDD91010BC51F8 Видео] про вывод LU-разложения от MIT | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=VEyWW2665Us&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=kF3TgvlZa8I&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/954 Конспект]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23 || | + | | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=VEyWW2665Us&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=kF3TgvlZa8I&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/954 Конспект]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23 |
| + | || [http://vmath.ru/vf5/algebra2/svd Конспект про сингулярное разложение], [http://vmath.ru/vf5/content много др. годных конспектов] от тех же ребят | ||
| + | |||
| + | [https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя про спектральное разложение], [https://www.youtube.com/watch?v=9hOI2wZJxtA&list=PLCf-cQCe1FRyCxLe_4ADCL5QXvN_Zl8Kh Неделя про SVD] курса Демешева | ||
| + | |||
| + | [https://www.youtube.com/watch?v=Or119IXozCM&t=1s Видос про матрицы] для самых маленьких | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=74Ze84rrdX0&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=YWLVx-ecBHc&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[ Конспект]] SVD, PCA. Тематическое моделирование || 05.10.23 || | + | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=74Ze84rrdX0&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=YWLVx-ecBHc&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1263 Конспект]] SVD, PCA. Тематическое моделирование || 05.10.23 |
| + | || [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12-pca.pdf Конспект Филиппа про PCA] для семинара на ФКН, [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12_pca_tsne.ipynb ноутбук] для него же | ||
| + | |||
| + | [https://setosa.io/ev/principal-component-analysis/ PCA в картинках] | ||
| + | |||
| + | [https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект лекции], [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem18-graph-clustering.pdf Конспект семинара] про спектральную кластеризацию с ФКН | ||
| + | |||
| + | [https://youtu.be/4CJUXlfFcM4?si=800BhcUUnR3PphQu&t=2071 Видео с лекции] (Евгений Соколов), [https://www.youtube.com/watch?v=y_a2DVsYM_o&feature=youtu.be видео семинара] (Филипп Ульянкин) | ||
| + | |||
| + | [https://t.me/c/1949286954/6/1122 Брутальные лекции Лены Буниной] из ШАДа | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=B_iE4LgeskA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=e3AZbI5sdk8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[ Конспект]] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD|| 12.10.23 || | + | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=B_iE4LgeskA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=e3AZbI5sdk8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1264 Конспект]] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD|| 12.10.23 |
| + | || [https://t.me/c/1949286954/6/1375 Презентация Стаса из ШАДа] про стабильность вычислений | ||
| + | |||
| + | [https://github.com/amkatrutsa/nla2021_ozon/tree/main Курс Ивана Оседлец по вычислительному линалу], [https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/lecture1/lecture-1.ipynb Первая лекция] | ||
| + | |||
| + | [https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/general_info.ipynb Список книг], [https://github.com/amkatrutsa/nla2021_ozon/blob/c33de1d9159a50cc837e128fd6bb6dca411d9fc8/lectures/decompositions.pdf Постер с матричными разложениями] | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''6''' [[ | + | | style="background:#eaecf0;" | '''6''' [[https://youtu.be/NUMEAv4gFLI Ч.1], [https://youtu.be/P817X6Q4LsM Ч.2]] || [[https://t.me/c/1949286954/6/1423 Конспект]] Комбинаторика, специальные числа || 19.10.23 |
| + | || [https://github.com/esokolov/ml-course-hse/blob/master/2022-spring/seminars/sem13-kkt.pdf Конспект] первой части про ККТ с ФКН | ||
| + | |||
| + | [https://github.com/MerkulovDaniil/mipt23 Клёвый курс по оптимизации] от Дани Меркулова из МФТИ: [https://www.youtube.com/watch?v=XEFSSG9Ko-E&list=PLQSHEO58cjmNVbsDzJYAgPW2mD_7JHts_&index=1 видео с курса], [https://mipt22.fmin.xyz/program.html логи занятий] | ||
| + | |||
| + | [https://fmin.xyz/assets/files/Nesterov_the_best.pdf Книга Нестерова] про выпуклую оптимизацию, [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf Классическая книга] по выпуклой оптимизации от Boyd из Стэнфорда | ||
| + | |||
| + | [https://www.youtube.com/watch?v=SKYXBPCJHCg&t=1s Лекция Ветрова] про необычные свойства функций потерь в DL, [https://losslandscape.com/ Картинки с ландшафтом Loss'ов], [https://github.com/tomgoldstein/loss-landscape Код и статья] | ||
|- | |- | ||
| Конец первого модуля | | | Конец первого модуля | | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Асимптотика: формула Эйлера, оценка сложности алгоритмов, классы сложностей: P, NP, DTIME с N(D)SPACE || | + | | style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Асимптотика: формула Эйлера, оценка сложности алгоритмов, классы сложностей: P, NP, DTIME с N(D)SPACE || 02.11.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер || | + | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер || 09.11.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || | + | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || 16.11.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || | + | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || 23.11.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || | + | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || 30.11.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || | + | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || 07.12.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || | + | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || 14.12.23 || |
|- | |- | ||
|} | |} | ||
Версия 23:03, 29 октября 2023
Содержание
О курсе
Это курс по математике для анализа данных. Мы поговорим о подноготной ML и попытаемся не заблудиться в теоремах и доказательствах. Будет два трека: классный (базовый) и продвинутый.
- В курсе не будет АБ-тестов и матстата. Они будут в следующем семестре.
- Везде будем пытаться искать примеры из практики и нормально обосновывать, зачем мы об этом говорим.
- Забыть про слово "очевидно" и везде проговаривать, почему это именно так работает, но не упарываться доказательствами.
- Больше смысла и концепций, меньше доказательств.
Автор курса попытался замиксовать в программе курса несколько подходов. В логах лекций он будет вставлять ссылки на первоисточники. План ниже примерный. Он будет меняться в процессе лекций.
В программе для классной группы преподаватель ориентировался на адаптационный курс математики в ШАД. Программу для продвинутой группы он пытался собирать, как справочник по математике для DS. Каждая лекция должна покрыть какую-то тему, которая всплывает где-нибудь в DS, но человек может потенциально в ней плавать. Темы из тервера подготавливают базу для матстата и АБ-тестов. О них речь пойдёт в следующем семестре.
Занятия проводятся в Zoom по средам в 19:40 на базовом треке и в другом Zoom по четвергам в 19:40 на продвинутом.
Онлайн-курсы в дополнение к парам
- Математический анализ для работы с данными
- Линейная алгебра: от идеи к формуле
- Дискретная математика: подсчеты, графы, случайные блуждания
Контакты
Чат курса в TG: https://t.me/+bQaHCRYH2tBlZjdi
Преподаватель: Ульянкин Филипп Валерьевич
| Ассистент | Телеграмм | Группа | Инвайт |
|---|---|---|---|
| Кирилл Долматов | @kirill_dolmatov | продвинутая | 6qnvYqA
|
| Макарова Мария | @mariagolddd | ||
| Лука Логинов | @l_loginov | базовая | sygz66L
|
| Артём Чубов | @aachubov | ||
| Богдан Старощук | @werlord112 |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub repository
Классный трек
Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group
| Занятие | Тема | Дата | Дополнительные материалы |
|---|---|---|---|
| 1 [Запись] | [Конспект] Множества. Бесконечности бывают разными | 11.09.23, Пон. |
Листок с необязательными задачами. И решения к нему "Начала теории множеств" Шеня и Верещагина Лекция Шапошникова по Матану-1. В ней выводятся основные определения теории множеств из аксиоматики Цермелло-Френкеля. Во второй же лекции в том же плейлисте есть про теорему Кантора-Берштейна Про трёхзначную логику: на Wiki, примеры с SQL на Хабре Конспект по характеристическим функциям для проверки тождеств (по Шеню, гл.1) Книга про множества от Виленкина |
| 2 [Ч.1], [Ч.2] | [Конспект] Матрицы. Их свойства и теоремы | 20.09.23 |
Лекции Димы Трушина: разделы 1 и 2, а также (для себя) третий Первая неделя из курса Б. Демешева про векторы, нормы и линейные операторы. Вторая неделя про линейные оболочки, независимость и умножение матриц |
| 3 [Ч.1], [Ч.2] | [Конспект] Определители и обратные матрицы | 02.10.23 | Разделы 3 и 4 из лекции Дмитрия Трушина, метод Крамера из видео Бориса Демешева |
| 4 [Ч.1, Ч.2] | [Конспект] Линейное пространство, базис. Смена базиса, ранг матрицы | 04.10.23 | Раздел 6 в лекциях Димы Трушина |
| 5 [Ч.1, Ч.2] | [Конспект] Линейное отображение. Проекторы, kNN | 11.10.23 | Конспект Димы Трушина |
| 6 [Ч.1, Ч.2] | [Конспект] Линейный оператор, спектральное разложение. Билинейные формы | 18.10.23 | Неделя 4 и Неделя 5 Демешева |
| 7 Запись | Ноутбук Ликбез по пределам, рядам и производным | 01.11.23 | |
| 8 Запись | Ноутбук Ликбез по оптимизации: лагранжиан, матричные производные | 08.11.23 | |
| 9 Запись | Ноутбук Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса | 13.11.23, Пон. | |
| 10 Запись | Ноутбук Комбинаторика и дискретные случайные величины | 22.11.23 | |
| 11 Запись | Ноутбук Функция распределения, непрерывные случайные величины | 29.11.23 | |
| 12 Запись | Ноутбук Многомерные распределения, зависимости между случайными величинами | 06.12.23 | |
| 13 Запись | Ноутбук Условные распределения и математические ожидания | 13.12.23 |
Продвинутый трек
| Занятие | Тема | Дата | Дополнительные материалы |
|---|---|---|---|
| 1 [Запись] | [Конспект] Матричные производные и оптимизация | 14.09.23 | Раздел про матричные производные на странице Филиппа про DL
Конспект о матричных производных от физтеха Матричный калькулятор для взятия любых производных |
| 2 [Ч.1], [Ч.2] | [Конспекты: matdiff (пр-е), LU] Матричные производные (продолжение). LU-разложение | 21.09.23 |
Видео про решение систем и LU-разложения от Ивана Оседелец Видео про вывод LU-разложения от MIT |
| 3 [Ч.1], [Ч.2] | [Конспект] Матричные разложения: SVD, QR и LU-разложения | 28.09.23 | Конспект про сингулярное разложение, много др. годных конспектов от тех же ребят
Неделя про спектральное разложение, Неделя про SVD курса Демешева Видос про матрицы для самых маленьких |
| 4 [Ч.1, Ч.2] | [Конспект] SVD, PCA. Тематическое моделирование | 05.10.23 | Конспект Филиппа про PCA для семинара на ФКН, ноутбук для него же
Конспект лекции, Конспект семинара про спектральную кластеризацию с ФКН Видео с лекции (Евгений Соколов), видео семинара (Филипп Ульянкин) Брутальные лекции Лены Буниной из ШАДа |
| 5 [Ч.1, Ч.2] | [Конспект] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD | 12.10.23 | Презентация Стаса из ШАДа про стабильность вычислений |
| 6 [Ч.1, Ч.2] | [Конспект] Комбинаторика, специальные числа | 19.10.23 | Конспект первой части про ККТ с ФКН
Клёвый курс по оптимизации от Дани Меркулова из МФТИ: видео с курса, логи занятий Книга Нестерова про выпуклую оптимизацию, Классическая книга по выпуклой оптимизации от Boyd из Стэнфорда Лекция Ветрова про необычные свойства функций потерь в DL, Картинки с ландшафтом Loss'ов, Код и статья |
| 7 Запись | Ноутбук Асимптотика: формула Эйлера, оценка сложности алгоритмов, классы сложностей: P, NP, DTIME с N(D)SPACE | 02.11.23 | |
| 8 Запись | Ноутбук Тервер | 09.11.23 | |
| 9 Запись | Ноутбук Разлагай и властвуй | 16.11.23 | |
| 10 Запись | Ноутбук Цепи Маркова и метод первого шага | 23.11.23 | |
| 11 Запись | Ноутбук Непрерывные случайные величины | 30.11.23 | |
| 12 Запись | Ноутбук Многомерные и условные распределения | 07.12.23 | |
| 13 Запись | Ноутбук Большая сила о-малых, Пуассоновский поток | 14.12.23 |
Записи консультаций
Формула оценивания
Оценка = 0.3*ОТесты + 0.7*ОДЗ
Домашние задания
Сдаются в Anytask
Инвайты:
-
sygz66L(базовая) -
6qnvYqA(продвинутая)
- Базовая гр.: ручная часть, кодовая часть | Мягкий дедлайн: 29.10.23, Жёсткий: 05.11.23
Продвинутая гр.: "Матричные производные" | Мягкий дедлайн: 15.10.23, Жёсткий: 22.10.23 (со штрафом в 20%, после работы не принимаются)
Тесты
- Базовая гр.: "Множества" дедлайн - 24.09.23 23:59
Продвинутая гр.: "Оптимизация"
Литература
- Курс алгебры, Винберг, Э. Б., 2013
- Математический анализ задач естествознания, Зорич, В. А., 2008
- Комбинаторика, Виленкин, Н. Я., 2013
- Чернова Н. И. "Теория вероятностей." Новосибирск: НГУ (2007)
- Грэхем, Р., Д. Кнут, and О. Поташник. "Конкретная математика, М., Мир, Бином." (2006)
- Нестеров. Методы выпуклой оптимизации (2010)
- Boyd, Vandenberghe. Convex Optimization (2004)
- Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005)
