МОВС Математика для анализа данных (ММОВС23, 1-2 модули) — различия между версиями
м (UPD after sems5) |
м (add hw2 in basic group) |
||
(не показано 10 промежуточных версии 2 участников) | |||
Строка 27: | Строка 27: | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
− | ! Ассистент !! Телеграмм | + | ! Ассистент !! Телеграмм !! Группа !! Инвайт |
|- | |- | ||
− | | style="background:#eaecf0;" | Кирилл Долматов || [https://t.me/kirill_dolmatov @kirill_dolmatov ] | + | | style="background:#eaecf0;" | Кирилл Долматов || [https://t.me/kirill_dolmatov @kirill_dolmatov] |
+ | |rowspan="2"| продвинутая | ||
+ | | rowspan="2" | <code>6qnvYqA</code> | ||
|- | |- | ||
| style="background:#eaecf0;" | Макарова Мария || [https://t.me/mariagolddd @mariagolddd] | | style="background:#eaecf0;" | Макарова Мария || [https://t.me/mariagolddd @mariagolddd] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | Лука Логинов || [https://t.me/l_loginov @l_loginov] | + | | style="background:#eaecf0;" | Лука Логинов || [https://t.me/l_loginov @l_loginov] |
+ | |rowspan="3"| базовая | ||
+ | | rowspan="3" | <code>sygz66L</code> | ||
|- | |- | ||
| style="background:#eaecf0;" | Артём Чубов || [https://t.me/aachubov @aachubov] | | style="background:#eaecf0;" | Артём Чубов || [https://t.me/aachubov @aachubov] | ||
Строка 46: | Строка 50: | ||
===Классный трек=== | ===Классный трек=== | ||
+ | |||
+ | Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
− | ! Занятие !! Тема !! Дата | + | ! Занятие !! Тема !! Дата !! Дополнительные материалы |
|- | |- | ||
− | | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=WuqrxwajiJI&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://t.me/c/1949286954/5/373 Конспект]] Множества. Бесконечности бывают разными || '''11.09.23''' | + | | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=WuqrxwajiJI&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://t.me/c/1949286954/5/373 Конспект]] Множества. Бесконечности бывают разными || '''11.09.23, Пон.''' || |
[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_lecture_01.pdf Конспект лекции] | [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_lecture_01.pdf Конспект лекции] | ||
Строка 66: | Строка 72: | ||
[https://t.me/c/1949286954/5/810 Книга про множества] от Виленкина | [https://t.me/c/1949286954/5/810 Книга про множества] от Виленкина | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=vsC0A2ajLIo&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=wxXLhEgZBZM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/812 Конспект]] Матрицы. Их свойства и теоремы || 20.09.23 | + | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=vsC0A2ajLIo&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=wxXLhEgZBZM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/812 Конспект]] Матрицы. Их свойства и теоремы || 20.09.23 || |
[https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Лекции Димы Трушина]: разделы 1 и 2, а также (для себя) третий | [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Лекции Димы Трушина]: разделы 1 и 2, а также (для себя) третий | ||
Строка 77: | Строка 83: | ||
[https://www.youtube.com/watch?v=J7DzL2_Na80&list=PLE7DDD91010BC51F8 Запись курса MIT] | [https://www.youtube.com/watch?v=J7DzL2_Na80&list=PLE7DDD91010BC51F8 Запись курса MIT] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=largAv6vwts&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=-X0ZmAANOVU&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1013 Конспект]] Определители и обратные матрицы || 02.10.23 | + | | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=largAv6vwts&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=-X0ZmAANOVU&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1013 Конспект]] Определители и обратные матрицы || 02.10.23 || Разделы 3 и 4 из [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекции Дмитрия Трушина], метод Крамера из [https://www.youtube.com/watch?v=cdEw-6Dkesg&list=PLCf-cQCe1FRx7l4ESOB8dwhNFY2wGHZvt&index=7 видео Бориса Демешева] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=hF0FA5tmC6E&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=bqMERm5Bd7A&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1236 Конспект]] Линейное пространство, базис. Смена базиса, ранг матрицы || 04.10.23 || Раздел 6 в [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекциях Димы Трушина] | + | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=hF0FA5tmC6E&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=bqMERm5Bd7A&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1236 Конспект]] Линейное пространство, базис. Смена базиса, ранг матрицы || 04.10.23 || Раздел 6 в [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекциях Димы Трушина] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=xOYYJ6fmXek&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=mtAZ1rTyTl8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[ Конспект]] Линейное отображение. Проекторы, kNN || 11.10.23 || | + | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=xOYYJ6fmXek&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=mtAZ1rTyTl8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1422?single Конспект]] Линейное отображение. Проекторы, kNN || 11.10.23 ||[https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Конспект Димы Трушина] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''6''' [[ | + | | style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=I5wRy7aOOEA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=gDCDxxNj2AM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1422 Конспект]] Линейный оператор, спектральное разложение. Билинейные формы|| 18.10.23 ||[https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя 4] и [https://www.youtube.com/watch?v=YHHVs6cMbsY&list=PLCf-cQCe1FRy1xhlw0ilxddn-01hhhKU9&index=4 Неделя 5] Демешева |
|- | |- | ||
| Конец первого модуля | | | Конец первого модуля | | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''7''' [[ | + | | style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=jQYIeg017vY видео 1: QR и SVD], [https://www.youtube.com/watch?v=2mCAduvRc_o видео 2: SVD]] || Посиделка 7: нормы, QR-разложение и SVD [[https://t.me/c/1949286954/5/1899]] || 01.11.23 || В логах advanced группы[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/avanced_log.md] есть много ссылок на разные приложения матричных разложений. Если хотите копнуть в них глубже, посмотрите их видосы 🙂 |
|- | |- | ||
− | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Ликбез по оптимизации: лагранжиан, матричные производные || | + | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Ликбез по оптимизации: лагранжиан, матричные производные || 08.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса || | + | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса || '''13.11.23, Пон.''' || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Комбинаторика и дискретные случайные величины || | + | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Комбинаторика и дискретные случайные величины || 22.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Функция распределения, непрерывные случайные величины || | + | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Функция распределения, непрерывные случайные величины || 29.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные распределения, зависимости между случайными величинами || | + | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные распределения, зависимости между случайными величинами || 06.12.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Условные распределения и математические ожидания || | + | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Условные распределения и математические ожидания || 13.12.23 || |
|- | |- | ||
|} | |} | ||
Строка 107: | Строка 113: | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
− | ! Занятие !! Тема !! Дата !! | + | ! Занятие !! Тема !! Дата !! Дополнительные материалы |
|- | |- | ||
− | | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23 || | + | | style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23 |
− | [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL | + | || [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL |
[http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха | [http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха | ||
− | + | ||
[https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"] | [https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"] | ||
[https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных | [https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=cybdNfzKp_4&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=NzJWQRya9OA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&index=6&pp=iAQB Ч.2]] || [Конспекты: [https://t.me/c/1949286954/6/846 matdiff (пр-е)], [https://t.me/c/1949286954/6/847 LU]] Матричные производные (продолжение). LU-разложение || 21.09.23 || | + | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=cybdNfzKp_4&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=NzJWQRya9OA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&index=6&pp=iAQB Ч.2]] || [Конспекты: [https://t.me/c/1949286954/6/846 matdiff (пр-е)], [https://t.me/c/1949286954/6/847 LU]] Матричные производные (продолжение). LU-разложение || 21.09.23 || |
[https://www.youtube.com/watch?v=zReIMeZseys&list=PLcsjsqLLSfNAp7iztz2H8iSP2vu79dIbW Видео] про решение систем и LU-разложения от Ивана Оседелец | [https://www.youtube.com/watch?v=zReIMeZseys&list=PLcsjsqLLSfNAp7iztz2H8iSP2vu79dIbW Видео] про решение систем и LU-разложения от Ивана Оседелец | ||
[https://www.youtube.com/watch?v=MsIvs_6vC38&list=PLE7DDD91010BC51F8 Видео] про вывод LU-разложения от MIT | [https://www.youtube.com/watch?v=MsIvs_6vC38&list=PLE7DDD91010BC51F8 Видео] про вывод LU-разложения от MIT | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=VEyWW2665Us&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=kF3TgvlZa8I&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/954 Конспект]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23 || | + | | style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=VEyWW2665Us&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=kF3TgvlZa8I&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/954 Конспект]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23 |
+ | || [http://vmath.ru/vf5/algebra2/svd Конспект про сингулярное разложение], [http://vmath.ru/vf5/content много др. годных конспектов] от тех же ребят | ||
+ | |||
+ | [https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя про спектральное разложение], [https://www.youtube.com/watch?v=9hOI2wZJxtA&list=PLCf-cQCe1FRyCxLe_4ADCL5QXvN_Zl8Kh Неделя про SVD] курса Демешева | ||
+ | |||
+ | [https://www.youtube.com/watch?v=Or119IXozCM&t=1s Видос про матрицы] для самых маленьких | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=74Ze84rrdX0&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=YWLVx-ecBHc&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[ Конспект]] SVD, PCA. Тематическое моделирование || 05.10.23 || | + | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=74Ze84rrdX0&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=YWLVx-ecBHc&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1263 Конспект]] SVD, PCA. Тематическое моделирование || 05.10.23 |
+ | || [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12-pca.pdf Конспект Филиппа про PCA] для семинара на ФКН, [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12_pca_tsne.ipynb ноутбук] для него же | ||
+ | |||
+ | [https://setosa.io/ev/principal-component-analysis/ PCA в картинках] | ||
+ | |||
+ | [https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект лекции], [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem18-graph-clustering.pdf Конспект семинара] про спектральную кластеризацию с ФКН | ||
+ | |||
+ | [https://youtu.be/4CJUXlfFcM4?si=800BhcUUnR3PphQu&t=2071 Видео с лекции] (Евгений Соколов), [https://www.youtube.com/watch?v=y_a2DVsYM_o&feature=youtu.be видео семинара] (Филипп Ульянкин) | ||
+ | |||
+ | [https://t.me/c/1949286954/6/1122 Брутальные лекции Лены Буниной] из ШАДа | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=B_iE4LgeskA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=e3AZbI5sdk8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[ Конспект]] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD|| 12.10.23 || | + | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=B_iE4LgeskA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=e3AZbI5sdk8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1264 Конспект]] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD|| 12.10.23 |
+ | || [https://t.me/c/1949286954/6/1375 Презентация Стаса из ШАДа] про стабильность вычислений | ||
+ | |||
+ | [https://github.com/amkatrutsa/nla2021_ozon/tree/main Курс Ивана Оседлец по вычислительному линалу], [https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/lecture1/lecture-1.ipynb Первая лекция] | ||
+ | |||
+ | [https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/general_info.ipynb Список книг], [https://github.com/amkatrutsa/nla2021_ozon/blob/c33de1d9159a50cc837e128fd6bb6dca411d9fc8/lectures/decompositions.pdf Постер с матричными разложениями] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''6''' [[ | + | | style="background:#eaecf0;" | '''6''' [[https://youtu.be/NUMEAv4gFLI Ч.1], [https://youtu.be/P817X6Q4LsM Ч.2]] || [[https://t.me/c/1949286954/6/1423 Конспект]] Комбинаторика, специальные числа || 19.10.23 |
+ | || [https://github.com/esokolov/ml-course-hse/blob/master/2022-spring/seminars/sem13-kkt.pdf Конспект] первой части про ККТ с ФКН | ||
+ | |||
+ | [https://github.com/MerkulovDaniil/mipt23 Клёвый курс по оптимизации] от Дани Меркулова из МФТИ: [https://www.youtube.com/watch?v=XEFSSG9Ko-E&list=PLQSHEO58cjmNVbsDzJYAgPW2mD_7JHts_&index=1 видео с курса], [https://mipt22.fmin.xyz/program.html логи занятий] | ||
+ | |||
+ | [https://fmin.xyz/assets/files/Nesterov_the_best.pdf Книга Нестерова] про выпуклую оптимизацию, [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf Классическая книга] по выпуклой оптимизации от Boyd из Стэнфорда | ||
+ | |||
+ | [https://www.youtube.com/watch?v=SKYXBPCJHCg&t=1s Лекция Ветрова] про необычные свойства функций потерь в DL, [https://losslandscape.com/ Картинки с ландшафтом Loss'ов], [https://github.com/tomgoldstein/loss-landscape Код и статья] | ||
|- | |- | ||
| Конец первого модуля | | | Конец первого модуля | | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''7''' [[ | + | | style="background:#eaecf0;" | '''7''' [[https://youtu.be/c_iMLxIagUE видео 1], [https://youtu.be/WJaOWTgKP9A видео 2]] || [[https://t.me/c/1949286954/6/1900 Конспект]] градиентные спуски методы второго порядка, скорость сходимости градиентного спуска (в следующий раз довыведем)|| 02.11.23 || Что посмотреть: |
+ | |||
+ | - листочек с ручными задачами (https://fulyankin.github.io/deep_learning_masha_book/problem_set_02_gradient/problem_01.html) на градиентный спуск с моего курса по глубинному обучению | ||
+ | |||
+ | - конспект ШАД про оптимизацию в ML (https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml), про методы второго порядка (https://academy.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka) и про проксимальные методы (https://academy.yandex.ru/handbook/ml/article/proksimalnye-metody) | ||
+ | |||
+ | - конспект Жени Соколова (https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf) про градиентный спуск и красивая тетрадка (https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-gd.ipynb) про него с семов ФКН по МО | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер || | + | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер || 09.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || | + | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || 16.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || | + | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || 23.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || | + | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || 30.11.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || | + | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || 07.12.23 || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || | + | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || 14.12.23 || |
|- | |- | ||
|} | |} | ||
Строка 162: | Строка 200: | ||
* <code>6qnvYqA</code> (продвинутая) | * <code>6qnvYqA</code> (продвинутая) | ||
− | # <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part01.pdf | + | # <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part01.pdf Ручная часть], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part02.ipynb Кодовая часть] | '''Мягкий дедлайн: 29.10.23''', ''Жёсткий: 05.11.23''<br/> <u>Продвинутая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw01.pdf "Матричные производные"] | '''Мягкий дедлайн: 15.10.23''', ''Жёсткий: 22.10.23'' (со штрафом в 20%, после работы не принимаются) <br/><br/> |
− | # | + | # <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw02_part01.pdf Ручная часть], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw02_part02.ipynb Кодовая часть] | '''Мягкий дедлайн: 10.12.2023 (Вс.)''', ''Жёсткий: 17.12.2023'' <br/> <u>Продвинутая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw02.ipynb "Точность вычислений, SVD, операция свёртки"] | '''Мягкий дедлайн: 19.11.23''', ''Жёсткий: 26.11.23'' (со штрафом в 20%, после работы не принимаются) <br/><br/> |
− | # | + | # <u>Базовая гр.</u>: [[ Ноутбук]] | '''Мягкий дедлайн: ''', ''Жёсткий: '' <br/> <u>Продвинутая гр.</u>: [[ Ноутбук]] | '''Мягкий дедлайн: ''', ''Жёсткий: '' <br/> |
== Тесты == | == Тесты == | ||
− | # Базовая гр. [https://docs.google.com/forms/d/e/1FAIpQLSdZIwcvPbiZEWis9C1cUw6IoB88o_ZQM16ePS7uptobYWHxYw/viewform "Множества"] '''дедлайн - 24.09.23 23:59''' | + | # <u>Базовая гр.</u>: [https://docs.google.com/forms/d/e/1FAIpQLSdZIwcvPbiZEWis9C1cUw6IoB88o_ZQM16ePS7uptobYWHxYw/viewform "Множества"] '''дедлайн - 24.09.23 23:59''' <br/> <u>Продвинутая гр.</u>: [[ "Оптимизация"]] |
# | # | ||
# | # |
Текущая версия на 09:05, 21 ноября 2023
Содержание
О курсе
Это курс по математике для анализа данных. Мы поговорим о подноготной ML и попытаемся не заблудиться в теоремах и доказательствах. Будет два трека: классный (базовый) и продвинутый.
- В курсе не будет АБ-тестов и матстата. Они будут в следующем семестре.
- Везде будем пытаться искать примеры из практики и нормально обосновывать, зачем мы об этом говорим.
- Забыть про слово "очевидно" и везде проговаривать, почему это именно так работает, но не упарываться доказательствами.
- Больше смысла и концепций, меньше доказательств.
Автор курса попытался замиксовать в программе курса несколько подходов. В логах лекций он будет вставлять ссылки на первоисточники. План ниже примерный. Он будет меняться в процессе лекций.
В программе для классной группы преподаватель ориентировался на адаптационный курс математики в ШАД. Программу для продвинутой группы он пытался собирать, как справочник по математике для DS. Каждая лекция должна покрыть какую-то тему, которая всплывает где-нибудь в DS, но человек может потенциально в ней плавать. Темы из тервера подготавливают базу для матстата и АБ-тестов. О них речь пойдёт в следующем семестре.
Занятия проводятся в Zoom по средам в 19:40 на базовом треке и в другом Zoom по четвергам в 19:40 на продвинутом.
Онлайн-курсы в дополнение к парам
- Математический анализ для работы с данными
- Линейная алгебра: от идеи к формуле
- Дискретная математика: подсчеты, графы, случайные блуждания
Контакты
Чат курса в TG: https://t.me/+bQaHCRYH2tBlZjdi
Преподаватель: Ульянкин Филипп Валерьевич
Ассистент | Телеграмм | Группа | Инвайт |
---|---|---|---|
Кирилл Долматов | @kirill_dolmatov | продвинутая | 6qnvYqA
|
Макарова Мария | @mariagolddd | ||
Лука Логинов | @l_loginov | базовая | sygz66L
|
Артём Чубов | @aachubov | ||
Богдан Старощук | @werlord112 |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub repository
Классный трек
Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group
Занятие | Тема | Дата | Дополнительные материалы |
---|---|---|---|
1 [Запись] | [Конспект] Множества. Бесконечности бывают разными | 11.09.23, Пон. |
Листок с необязательными задачами. И решения к нему "Начала теории множеств" Шеня и Верещагина Лекция Шапошникова по Матану-1. В ней выводятся основные определения теории множеств из аксиоматики Цермелло-Френкеля. Во второй же лекции в том же плейлисте есть про теорему Кантора-Берштейна Про трёхзначную логику: на Wiki, примеры с SQL на Хабре Конспект по характеристическим функциям для проверки тождеств (по Шеню, гл.1) Книга про множества от Виленкина |
2 [Ч.1], [Ч.2] | [Конспект] Матрицы. Их свойства и теоремы | 20.09.23 |
Лекции Димы Трушина: разделы 1 и 2, а также (для себя) третий Первая неделя из курса Б. Демешева про векторы, нормы и линейные операторы. Вторая неделя про линейные оболочки, независимость и умножение матриц |
3 [Ч.1], [Ч.2] | [Конспект] Определители и обратные матрицы | 02.10.23 | Разделы 3 и 4 из лекции Дмитрия Трушина, метод Крамера из видео Бориса Демешева |
4 [Ч.1, Ч.2] | [Конспект] Линейное пространство, базис. Смена базиса, ранг матрицы | 04.10.23 | Раздел 6 в лекциях Димы Трушина |
5 [Ч.1, Ч.2] | [Конспект] Линейное отображение. Проекторы, kNN | 11.10.23 | Конспект Димы Трушина |
6 [Ч.1, Ч.2] | [Конспект] Линейный оператор, спектральное разложение. Билинейные формы | 18.10.23 | Неделя 4 и Неделя 5 Демешева |
7 [видео 1: QR и SVD, видео 2: SVD] | Посиделка 7: нормы, QR-разложение и SVD [[1]] | 01.11.23 | В логах advanced группы[2] есть много ссылок на разные приложения матричных разложений. Если хотите копнуть в них глубже, посмотрите их видосы 🙂 |
8 Запись | Ноутбук Ликбез по оптимизации: лагранжиан, матричные производные | 08.11.23 | |
9 Запись | Ноутбук Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса | 13.11.23, Пон. | |
10 Запись | Ноутбук Комбинаторика и дискретные случайные величины | 22.11.23 | |
11 Запись | Ноутбук Функция распределения, непрерывные случайные величины | 29.11.23 | |
12 Запись | Ноутбук Многомерные распределения, зависимости между случайными величинами | 06.12.23 | |
13 Запись | Ноутбук Условные распределения и математические ожидания | 13.12.23 |
Продвинутый трек
Занятие | Тема | Дата | Дополнительные материалы |
---|---|---|---|
1 [Запись] | [Конспект] Матричные производные и оптимизация | 14.09.23 | Раздел про матричные производные на странице Филиппа про DL
Конспект о матричных производных от физтеха Матричный калькулятор для взятия любых производных |
2 [Ч.1], [Ч.2] | [Конспекты: matdiff (пр-е), LU] Матричные производные (продолжение). LU-разложение | 21.09.23 |
Видео про решение систем и LU-разложения от Ивана Оседелец Видео про вывод LU-разложения от MIT |
3 [Ч.1], [Ч.2] | [Конспект] Матричные разложения: SVD, QR и LU-разложения | 28.09.23 | Конспект про сингулярное разложение, много др. годных конспектов от тех же ребят
Неделя про спектральное разложение, Неделя про SVD курса Демешева Видос про матрицы для самых маленьких |
4 [Ч.1, Ч.2] | [Конспект] SVD, PCA. Тематическое моделирование | 05.10.23 | Конспект Филиппа про PCA для семинара на ФКН, ноутбук для него же
Конспект лекции, Конспект семинара про спектральную кластеризацию с ФКН Видео с лекции (Евгений Соколов), видео семинара (Филипп Ульянкин) Брутальные лекции Лены Буниной из ШАДа |
5 [Ч.1, Ч.2] | [Конспект] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD | 12.10.23 | Презентация Стаса из ШАДа про стабильность вычислений |
6 [Ч.1, Ч.2] | [Конспект] Комбинаторика, специальные числа | 19.10.23 | Конспект первой части про ККТ с ФКН
Клёвый курс по оптимизации от Дани Меркулова из МФТИ: видео с курса, логи занятий Книга Нестерова про выпуклую оптимизацию, Классическая книга по выпуклой оптимизации от Boyd из Стэнфорда Лекция Ветрова про необычные свойства функций потерь в DL, Картинки с ландшафтом Loss'ов, Код и статья |
7 [видео 1, видео 2] | [Конспект] градиентные спуски методы второго порядка, скорость сходимости градиентного спуска (в следующий раз довыведем) | 02.11.23 | Что посмотреть:
- листочек с ручными задачами (https://fulyankin.github.io/deep_learning_masha_book/problem_set_02_gradient/problem_01.html) на градиентный спуск с моего курса по глубинному обучению - конспект ШАД про оптимизацию в ML (https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml), про методы второго порядка (https://academy.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka) и про проксимальные методы (https://academy.yandex.ru/handbook/ml/article/proksimalnye-metody) - конспект Жени Соколова (https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf) про градиентный спуск и красивая тетрадка (https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-gd.ipynb) про него с семов ФКН по МО |
8 Запись | Ноутбук Тервер | 09.11.23 | |
9 Запись | Ноутбук Разлагай и властвуй | 16.11.23 | |
10 Запись | Ноутбук Цепи Маркова и метод первого шага | 23.11.23 | |
11 Запись | Ноутбук Непрерывные случайные величины | 30.11.23 | |
12 Запись | Ноутбук Многомерные и условные распределения | 07.12.23 | |
13 Запись | Ноутбук Большая сила о-малых, Пуассоновский поток | 14.12.23 |
Записи консультаций
Формула оценивания
Оценка = 0.3*ОТесты + 0.7*ОДЗ
Домашние задания
Сдаются в Anytask
Инвайты:
-
sygz66L
(базовая) -
6qnvYqA
(продвинутая)
- Базовая гр.: Ручная часть, Кодовая часть | Мягкий дедлайн: 29.10.23, Жёсткий: 05.11.23
Продвинутая гр.: "Матричные производные" | Мягкий дедлайн: 15.10.23, Жёсткий: 22.10.23 (со штрафом в 20%, после работы не принимаются)
- Базовая гр.: Ручная часть, Кодовая часть | Мягкий дедлайн: 10.12.2023 (Вс.), Жёсткий: 17.12.2023
Продвинутая гр.: "Точность вычислений, SVD, операция свёртки" | Мягкий дедлайн: 19.11.23, Жёсткий: 26.11.23 (со штрафом в 20%, после работы не принимаются)
- Базовая гр.: Ноутбук | Мягкий дедлайн: , Жёсткий:
Продвинутая гр.: Ноутбук | Мягкий дедлайн: , Жёсткий:
Тесты
- Базовая гр.: "Множества" дедлайн - 24.09.23 23:59
Продвинутая гр.: "Оптимизация"
Литература
- Курс алгебры, Винберг, Э. Б., 2013
- Математический анализ задач естествознания, Зорич, В. А., 2008
- Комбинаторика, Виленкин, Н. Я., 2013
- Чернова Н. И. "Теория вероятностей." Новосибирск: НГУ (2007)
- Грэхем, Р., Д. Кнут, and О. Поташник. "Конкретная математика, М., Мир, Бином." (2006)
- Нестеров. Методы выпуклой оптимизации (2010)
- Boyd, Vandenberghe. Convex Optimization (2004)
- Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005)