МОВС Математика для анализа данных (ММОВС23, 1-2 модули) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (minor UPD)
м (add hw2 in basic group)
 
(не показана одна промежуточная версия 2 участников)
Строка 14: Строка 14:
 
Занятия проводятся в [https://yandex.zoom.us/j/92979950754 Zoom] '''по средам в 19:40''' на базовом треке и в [https://yandex.zoom.us/j/95934013846 другом Zoom] '''по четвергам в 19:40''' на продвинутом.
 
Занятия проводятся в [https://yandex.zoom.us/j/92979950754 Zoom] '''по средам в 19:40''' на базовом треке и в [https://yandex.zoom.us/j/95934013846 другом Zoom] '''по четвергам в 19:40''' на продвинутом.
  
−
Онлайн-курсы в дополнение к парам: [[ online-course link]]
+
== Онлайн-курсы в дополнение к парам ==
 +
* [https://edu.hse.ru/course/view.php?id=132502 Математический анализ для работы с данными]
 +
* [https://edu.hse.ru/course/view.php?id=139773 Линейная алгебра: от идеи к формуле]
 +
* [https://edu.hse.ru/course/view.php?id=139772 Дискретная математика: подсчеты, графы, случайные блуждания]
  
 
==Контакты==
 
==Контакты==
Строка 24: Строка 27:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Ассистент !! Телеграмм
+
! Ассистент !! Телеграмм !! Группа !! Инвайт
 
|-
 
|-
−
| style="background:#eaecf0;" | Кирилл Долматов || [https://t.me/kirill_dolmatov @kirill_dolmatov ]
+
| style="background:#eaecf0;" | Кирилл Долматов || [https://t.me/kirill_dolmatov @kirill_dolmatov]  
 +
|rowspan="2"| продвинутая
 +
| rowspan="2" | <code>6qnvYqA</code>
 
|-
 
|-
 
| style="background:#eaecf0;" | Макарова Мария || [https://t.me/mariagolddd @mariagolddd]
 
| style="background:#eaecf0;" | Макарова Мария || [https://t.me/mariagolddd @mariagolddd]
 
|-
 
|-
−
| style="background:#eaecf0;" | Лука Логинов || [https://t.me/l_loginov @l_loginov]
+
| style="background:#eaecf0;" | Лука Логинов || [https://t.me/l_loginov @l_loginov]  
 +
|rowspan="3"| базовая
 +
| rowspan="3" | <code>sygz66L</code>
 
|-
 
|-
 
| style="background:#eaecf0;" | Артём Чубов || [https://t.me/aachubov @aachubov]
 
| style="background:#eaecf0;" | Артём Чубов || [https://t.me/aachubov @aachubov]
Строка 43: Строка 50:
  
 
===Классный трек===
 
===Классный трек===
 +
 +
Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
+
  ! Занятие !! Тема !! Дата !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=WuqrxwajiJI&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://t.me/c/1949286954/5/373 Конспект]] Множества. Бесконечности бывают разными || '''11.09.23''' || ||  
+
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=WuqrxwajiJI&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://t.me/c/1949286954/5/373 Конспект]] Множества. Бесконечности бывают разными || '''11.09.23, Пон.''' ||
 
[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_lecture_01.pdf Конспект лекции]
 
[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/lectures_pdf/yet_lecture_01.pdf Конспект лекции]
  
Строка 60: Строка 69:
  
 
[http://www.mathhelpplanet.com/static.php?p=metod-kharakteristicheskikh-funktsiy-v-teorii-mnozhestv Конспект по характеристическим функциям для проверки тождеств] (по Шеню, гл.1)  
 
[http://www.mathhelpplanet.com/static.php?p=metod-kharakteristicheskikh-funktsiy-v-teorii-mnozhestv Конспект по характеристическим функциям для проверки тождеств] (по Шеню, гл.1)  
 +
 +
[https://t.me/c/1949286954/5/810 Книга про множества] от Виленкина
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] Матрицы. Их свойства и теоремы || 20.09.23 || ||
+
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=vsC0A2ajLIo&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=wxXLhEgZBZM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/812 Конспект]] Матрицы. Их свойства и теоремы || 20.09.23 ||
 +
[https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Лекции Димы Трушина]: разделы 1 и 2, а также (для себя) третий
 +
 
 +
[https://www.youtube.com/watch?v=OErVswuyx0w&list=PLCf-cQCe1FRw6Zk0o4d3bV7dvGotY8E7h Первая неделя] из курса Б. Демешева про векторы, нормы и линейные операторы.
 +
 
 +
[https://www.youtube.com/watch?v=J9d2GUmUr_A&list=PLCf-cQCe1FRxxI7Li1YacDbMYuwKC13B9 Вторая неделя] про линейные оболочки, независимость и умножение матриц
 +
 
 +
[https://www.youtube.com/watch?v=WFPKeoDcEFw&list=PLCf-cQCe1FRx7l4ESOB8dwhNFY2wGHZvt Неделя про определитель]
 +
 
 +
[https://www.youtube.com/watch?v=J7DzL2_Na80&list=PLE7DDD91010BC51F8 Запись курса MIT]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] Определители и обратные матрицы || 27.09.23 || ||
+
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=largAv6vwts&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=-X0ZmAANOVU&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1013 Конспект]] Определители и обратные матрицы || 02.10.23 || Разделы 3 и 4 из [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекции Дмитрия Трушина], метод Крамера из [https://www.youtube.com/watch?v=cdEw-6Dkesg&list=PLCf-cQCe1FRx7l4ESOB8dwhNFY2wGHZvt&index=7 видео Бориса Демешева]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] Векторные пространства, координаты, ранги, линейные отображения и операторы. || 04.10.23 || ||
+
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=hF0FA5tmC6E&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=bqMERm5Bd7A&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1236 Конспект]] Линейное пространство, базис. Смена базиса, ранг матрицы || 04.10.23 || Раздел 6 в [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf лекциях Димы Трушина]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Билинейные формы, скалярное произведение и квадратичные формы || 11.10.23 || ||
+
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=xOYYJ6fmXek&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=mtAZ1rTyTl8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1422?single Конспект]] Линейное отображение. Проекторы, kNN || 11.10.23 ||[https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf Конспект Димы Трушина]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] SVD || 18.10.23 || ||
+
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=I5wRy7aOOEA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=gDCDxxNj2AM&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/5/1422 Конспект]] Линейный оператор, спектральное разложение. Билинейные формы|| 18.10.23 ||[https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя 4] и [https://www.youtube.com/watch?v=YHHVs6cMbsY&list=PLCf-cQCe1FRy1xhlw0ilxddn-01hhhKU9&index=4 Неделя 5] Демешева
 
|-
 
|-
 
| Конец первого модуля |
 
| Конец первого модуля |
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Ликбез по пределам, рядам и производным ||  || ||  
+
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=jQYIeg017vY видео 1: QR и SVD], [https://www.youtube.com/watch?v=2mCAduvRc_o видео 2: SVD]] || Посиделка 7: нормы, QR-разложение и SVD [[https://t.me/c/1949286954/5/1899]] || 01.11.23 || В логах advanced группы[https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/avanced_log.md] есть много ссылок на разные приложения матричных разложений. Если хотите копнуть в них глубже, посмотрите их видосы 🙂
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Ликбез по оптимизации: лагранжиан, матричные производные || || ||  
+
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Ликбез по оптимизации: лагранжиан, матричные производные || 08.11.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса || || ||
+
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса || '''13.11.23, Пон.''' ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Комбинаторика и дискретные случайные величины || || ||  
+
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Комбинаторика и дискретные случайные величины || 22.11.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Функция распределения, непрерывные случайные величины || || ||  
+
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Функция распределения, непрерывные случайные величины || 29.11.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные распределения, зависимости между случайными величинами || || ||  
+
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные распределения, зависимости между случайными величинами || 06.12.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Условные распределения и математические ожидания || || ||  
+
| style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Условные распределения и математические ожидания || 13.12.23 ||  
 
|-
 
|-
 
|}
 
|}
Строка 93: Строка 113:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
+
  ! Занятие !! Тема !! Дата !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23 ||
+
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=DvPfB113OdY&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Запись]] || [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]] Матричные производные и оптимизация || 14.09.23
−
[https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL
+
|| [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html Раздел про матричные производные] на странице Филиппа про DL
  
 
[http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха
 
[http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf Конспект] о матричных производных от физтеха
−
||
+
 
 
[https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"]
 
[https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf "The Matrix Cookbook"]
  
 
[https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных
 
[https://www.matrixcalculus.org/ Матричный калькулятор] для взятия любых производных
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] Численные методы линейной алгебры. Разреженные матрицы || 21.09.23 || ||
+
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=cybdNfzKp_4&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=NzJWQRya9OA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw&index=6&pp=iAQB Ч.2]] || [Конспекты: [https://t.me/c/1949286954/6/846 matdiff (пр-е)], [https://t.me/c/1949286954/6/847 LU]] Матричные производные (продолжение). LU-разложение || 21.09.23 ||
 +
[https://www.youtube.com/watch?v=zReIMeZseys&list=PLcsjsqLLSfNAp7iztz2H8iSP2vu79dIbW Видео] про решение систем и LU-разложения от Ивана Оседелец
 +
 
 +
[https://www.youtube.com/watch?v=MsIvs_6vC38&list=PLE7DDD91010BC51F8 Видео] про вывод LU-разложения от MIT
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23 || ||
+
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=VEyWW2665Us&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1]], [[https://www.youtube.com/watch?v=kF3TgvlZa8I&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/954 Конспект]] Матричные разложения: SVD, QR и LU-разложения|| 28.09.23  
 +
|| [http://vmath.ru/vf5/algebra2/svd Конспект про сингулярное разложение], [http://vmath.ru/vf5/content много др. годных конспектов] от тех же ребят
 +
 
 +
[https://www.youtube.com/watch?v=UlnIaoiudm8&list=PLCf-cQCe1FRz9PX3BGfyPoM6fjq4nR0EQ Неделя про спектральное разложение], [https://www.youtube.com/watch?v=9hOI2wZJxtA&list=PLCf-cQCe1FRyCxLe_4ADCL5QXvN_Zl8Kh Неделя про SVD] курса Демешева
 +
 
 +
[https://www.youtube.com/watch?v=Or119IXozCM&t=1s Видос про матрицы] для самых маленьких
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] Выпуклая оптимизация: лагранжиан, двойственная задача, теорема Куна-Такера || 05.10.23 || ||
+
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=74Ze84rrdX0&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=YWLVx-ecBHc&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1263 Конспект]] SVD, PCA. Тематическое моделирование  || 05.10.23  
 +
|| [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12-pca.pdf Конспект Филиппа про PCA] для семинара на ФКН, [https://github.com/esokolov/ml-course-hse/blob/master/2021-fall/seminars/sem12_pca_tsne.ipynb ноутбук] для него же
 +
 
 +
[https://setosa.io/ev/principal-component-analysis/ PCA в картинках]
 +
 
 +
[https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf Конспект лекции], [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem18-graph-clustering.pdf Конспект семинара] про спектральную кластеризацию с ФКН
 +
 
 +
[https://youtu.be/4CJUXlfFcM4?si=800BhcUUnR3PphQu&t=2071 Видео с лекции] (Евгений Соколов), [https://www.youtube.com/watch?v=y_a2DVsYM_o&feature=youtu.be видео семинара] (Филипп Ульянкин)
 +
 
 +
[https://t.me/c/1949286954/6/1122 Брутальные лекции Лены Буниной] из ШАДа
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Рекуррентные уравнения и суммы || 12.10.23 || ||
+
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=B_iE4LgeskA&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.1], [https://www.youtube.com/watch?v=e3AZbI5sdk8&list=PLNKXA-74YGLh9YbfTm2x_VUYtPXVQ5Zsw Ч.2]] || [[https://t.me/c/1949286954/6/1264 Конспект]] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD|| 12.10.23
 +
|| [https://t.me/c/1949286954/6/1375 Презентация Стаса из ШАДа] про стабильность вычислений
 +
 
 +
[https://github.com/amkatrutsa/nla2021_ozon/tree/main Курс Ивана Оседлец по вычислительному линалу], [https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/lecture1/lecture-1.ipynb Первая лекция]
 +
 
 +
[https://github.com/amkatrutsa/nla2021_ozon/blob/main/lectures/general_info.ipynb Список книг], [https://github.com/amkatrutsa/nla2021_ozon/blob/c33de1d9159a50cc837e128fd6bb6dca411d9fc8/lectures/decompositions.pdf Постер с матричными разложениями]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] Комбинаторика, специальные числа || 19.10.23 || ||
+
| style="background:#eaecf0;" | '''6''' [[https://youtu.be/NUMEAv4gFLI Ч.1], [https://youtu.be/P817X6Q4LsM Ч.2]] || [[https://t.me/c/1949286954/6/1423 Конспект]] Комбинаторика, специальные числа || 19.10.23  
 +
|| [https://github.com/esokolov/ml-course-hse/blob/master/2022-spring/seminars/sem13-kkt.pdf Конспект] первой части про ККТ с ФКН
 +
 
 +
[https://github.com/MerkulovDaniil/mipt23 Клёвый курс по оптимизации] от Дани Меркулова из МФТИ: [https://www.youtube.com/watch?v=XEFSSG9Ko-E&list=PLQSHEO58cjmNVbsDzJYAgPW2mD_7JHts_&index=1 видео с курса], [https://mipt22.fmin.xyz/program.html логи занятий]
 +
 
 +
[https://fmin.xyz/assets/files/Nesterov_the_best.pdf Книга Нестерова] про выпуклую оптимизацию, [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf Классическая книга] по выпуклой оптимизации от Boyd из Стэнфорда
 +
 
 +
[https://www.youtube.com/watch?v=SKYXBPCJHCg&t=1s Лекция Ветрова] про необычные свойства функций потерь в DL, [https://losslandscape.com/ Картинки с ландшафтом Loss'ов], [https://github.com/tomgoldstein/loss-landscape Код и статья]
 
|-
 
|-
 
| Конец первого модуля |
 
| Конец первого модуля |
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Асимптотика: формула Эйлера, оценка сложности алгоритмов, классы сложностей: P, NP, DTIME с N(D)SPACE ||  || ||  
+
| style="background:#eaecf0;" | '''7''' [[https://youtu.be/c_iMLxIagUE видео 1], [https://youtu.be/WJaOWTgKP9A видео 2]] || [[https://t.me/c/1949286954/6/1900 Конспект]] градиентные спуски методы второго порядка, скорость сходимости градиентного спуска (в следующий раз довыведем)|| 02.11.23 || Что посмотреть:
 +
 
 +
- листочек с ручными задачами (https://fulyankin.github.io/deep_learning_masha_book/problem_set_02_gradient/problem_01.html) на градиентный спуск с моего курса по глубинному обучению
 +
 
 +
- конспект ШАД про оптимизацию в ML (https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml), про методы второго порядка (https://academy.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka) и про проксимальные методы (https://academy.yandex.ru/handbook/ml/article/proksimalnye-metody)
 +
 
 +
- конспект Жени Соколова (https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf) про градиентный спуск и красивая тетрадка (https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-gd.ipynb) про него с семов ФКН по МО
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер  || || ||  
+
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Тервер  || 09.11.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || || ||
+
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Разлагай и властвуй || 16.11.23 ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || || ||  
+
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Цепи Маркова и метод первого шага || 23.11.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || || ||  
+
| style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] Непрерывные случайные величины || 30.11.23 ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || || ||  
+
| style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] Многомерные и условные распределения || 07.12.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || || ||  
+
| style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Большая сила о-малых, Пуассоновский поток || 14.12.23 ||  
 
|-
 
|-
 
|}
 
|}
Строка 142: Строка 197:
  
 
Инвайты:
 
Инвайты:
−
* <code>sygz66L</code>
+
* <code>sygz66L</code> (базовая)
−
* <code>6qnvYqA</code>
+
* <code>6qnvYqA</code> (продвинутая)
  
−
# [[ Базовая гр.]], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw01.pdf Продв. гр.] "Матричные производные" | '''Мягкий дедлайн: 15.10.23''', ''Жёсткий: 22.10.23'' (со штрафом в 20%, после работы не принимаются)
+
# <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part01.pdf Ручная часть], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw01_part02.ipynb Кодовая часть] | '''Мягкий дедлайн: 29.10.23''', ''Жёсткий: 05.11.23''<br/> <u>Продвинутая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw01.pdf "Матричные производные"] | '''Мягкий дедлайн: 15.10.23''', ''Жёсткий: 22.10.23'' (со штрафом в 20%, после работы не принимаются) <br/><br/>
−
#  
+
# <u>Базовая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw02_part01.pdf Ручная часть], [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_base_hw02_part02.ipynb Кодовая часть] | '''Мягкий дедлайн: 10.12.2023 (Вс.)''', ''Жёсткий: 17.12.2023'' <br/> <u>Продвинутая гр.</u>: [https://github.com/FUlyankin/yet_another_math_for_DS/blob/main/hw/math_advanced_hw02.ipynb "Точность вычислений, SVD, операция свёртки"] |  '''Мягкий дедлайн: 19.11.23''', ''Жёсткий: 26.11.23'' (со штрафом в 20%, после работы не принимаются) <br/><br/>
−
#
+
# <u>Базовая гр.</u>: [[ Ноутбук]] | '''Мягкий дедлайн: ''', ''Жёсткий: '' <br/> <u>Продвинутая гр.</u>: [[ Ноутбук]] | '''Мягкий дедлайн: ''', ''Жёсткий: '' <br/>
−
#
+
  
 
== Тесты ==
 
== Тесты ==
−
#
+
# <u>Базовая гр.</u>:  [https://docs.google.com/forms/d/e/1FAIpQLSdZIwcvPbiZEWis9C1cUw6IoB88o_ZQM16ePS7uptobYWHxYw/viewform "Множества"] '''дедлайн - 24.09.23 23:59''' <br/> <u>Продвинутая гр.</u>: [[ "Оптимизация"]]
 
#
 
#
 
#
 
#

Текущая версия на 09:05, 21 ноября 2023

О курсе

Это курс по математике для анализа данных. Мы поговорим о подноготной ML и попытаемся не заблудиться в теоремах и доказательствах. Будет два трека: классный (базовый) и продвинутый.

  • В курсе не будет АБ-тестов и матстата. Они будут в следующем семестре.
  • Везде будем пытаться искать примеры из практики и нормально обосновывать, зачем мы об этом говорим.
  • Забыть про слово "очевидно" и везде проговаривать, почему это именно так работает, но не упарываться доказательствами.
  • Больше смысла и концепций, меньше доказательств.

Автор курса попытался замиксовать в программе курса несколько подходов. В логах лекций он будет вставлять ссылки на первоисточники. План ниже примерный. Он будет меняться в процессе лекций.

В программе для классной группы преподаватель ориентировался на адаптационный курс математики в ШАД. Программу для продвинутой группы он пытался собирать, как справочник по математике для DS. Каждая лекция должна покрыть какую-то тему, которая всплывает где-нибудь в DS, но человек может потенциально в ней плавать. Темы из тервера подготавливают базу для матстата и АБ-тестов. О них речь пойдёт в следующем семестре.


Занятия проводятся в Zoom по средам в 19:40 на базовом треке и в другом Zoom по четвергам в 19:40 на продвинутом.

Онлайн-курсы в дополнение к парам

Контакты

Чат курса в TG: https://t.me/+bQaHCRYH2tBlZjdi

Преподаватель: Ульянкин Филипп Валерьевич

Ассистент Телеграмм Группа Инвайт
Кирилл Долматов @kirill_dolmatov продвинутая 6qnvYqA
Макарова Мария @mariagolddd
Лука Логинов @l_loginov базовая sygz66L
Артём Чубов @aachubov
Богдан Старощук @werlord112

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub repository

Классный трек

Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group

Занятие Тема Дата Дополнительные материалы
1 [Запись] [Конспект] Множества. Бесконечности бывают разными 11.09.23, Пон.

Конспект лекции

Листок с необязательными задачами. И решения к нему

"Начала теории множеств" Шеня и Верещагина

Лекция Шапошникова по Матану-1. В ней выводятся основные определения теории множеств из аксиоматики Цермелло-Френкеля. Во второй же лекции в том же плейлисте есть про теорему Кантора-Берштейна

Про трёхзначную логику: на Wiki, примеры с SQL на Хабре

Конспект по характеристическим функциям для проверки тождеств (по Шеню, гл.1)

Книга про множества от Виленкина

2 [Ч.1], [Ч.2] [Конспект] Матрицы. Их свойства и теоремы 20.09.23

Лекции Димы Трушина: разделы 1 и 2, а также (для себя) третий

Первая неделя из курса Б. Демешева про векторы, нормы и линейные операторы.

Вторая неделя про линейные оболочки, независимость и умножение матриц

Неделя про определитель

Запись курса MIT

3 [Ч.1], [Ч.2] [Конспект] Определители и обратные матрицы 02.10.23 Разделы 3 и 4 из лекции Дмитрия Трушина, метод Крамера из видео Бориса Демешева
4 [Ч.1, Ч.2] [Конспект] Линейное пространство, базис. Смена базиса, ранг матрицы 04.10.23 Раздел 6 в лекциях Димы Трушина
5 [Ч.1, Ч.2] [Конспект] Линейное отображение. Проекторы, kNN 11.10.23 Конспект Димы Трушина
6 [Ч.1, Ч.2] [Конспект] Линейный оператор, спектральное разложение. Билинейные формы 18.10.23 Неделя 4 и Неделя 5 Демешева
7 [видео 1: QR и SVD, видео 2: SVD] Посиделка 7: нормы, QR-разложение и SVD [[1]] 01.11.23 В логах advanced группы[2] есть много ссылок на разные приложения матричных разложений. Если хотите копнуть в них глубже, посмотрите их видосы 🙂
8 Запись Ноутбук Ликбез по оптимизации: лагранжиан, матричные производные 08.11.23
9 Запись Ноутбук Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса 13.11.23, Пон.
10 Запись Ноутбук Комбинаторика и дискретные случайные величины 22.11.23
11 Запись Ноутбук Функция распределения, непрерывные случайные величины 29.11.23
12 Запись Ноутбук Многомерные распределения, зависимости между случайными величинами 06.12.23
13 Запись Ноутбук Условные распределения и математические ожидания 13.12.23

Продвинутый трек

Занятие Тема Дата Дополнительные материалы
1 [Запись] [Конспект] Матричные производные и оптимизация 14.09.23 Раздел про матричные производные на странице Филиппа про DL

Конспект о матричных производных от физтеха

"The Matrix Cookbook"

Матричный калькулятор для взятия любых производных

2 [Ч.1], [Ч.2] [Конспекты: matdiff (пр-е), LU] Матричные производные (продолжение). LU-разложение 21.09.23

Видео про решение систем и LU-разложения от Ивана Оседелец

Видео про вывод LU-разложения от MIT

3 [Ч.1], [Ч.2] [Конспект] Матричные разложения: SVD, QR и LU-разложения 28.09.23 Конспект про сингулярное разложение, много др. годных конспектов от тех же ребят

Неделя про спектральное разложение, Неделя про SVD курса Демешева

Видос про матрицы для самых маленьких

4 [Ч.1, Ч.2] [Конспект] SVD, PCA. Тематическое моделирование 05.10.23 Конспект Филиппа про PCA для семинара на ФКН, ноутбук для него же

PCA в картинках

Конспект лекции, Конспект семинара про спектральную кластеризацию с ФКН

Видео с лекции (Евгений Соколов), видео семинара (Филипп Ульянкин)

Брутальные лекции Лены Буниной из ШАДа

5 [Ч.1, Ч.2] [Конспект] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD 12.10.23 Презентация Стаса из ШАДа про стабильность вычислений

Курс Ивана Оседлец по вычислительному линалу, Первая лекция

Список книг, Постер с матричными разложениями

6 [Ч.1, Ч.2] [Конспект] Комбинаторика, специальные числа 19.10.23 Конспект первой части про ККТ с ФКН

Клёвый курс по оптимизации от Дани Меркулова из МФТИ: видео с курса, логи занятий

Книга Нестерова про выпуклую оптимизацию, Классическая книга по выпуклой оптимизации от Boyd из Стэнфорда

Лекция Ветрова про необычные свойства функций потерь в DL, Картинки с ландшафтом Loss'ов, Код и статья

7 [видео 1, видео 2] [Конспект] градиентные спуски методы второго порядка, скорость сходимости градиентного спуска (в следующий раз довыведем) 02.11.23 Что посмотреть:

- листочек с ручными задачами (https://fulyankin.github.io/deep_learning_masha_book/problem_set_02_gradient/problem_01.html) на градиентный спуск с моего курса по глубинному обучению

- конспект ШАД про оптимизацию в ML (https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml), про методы второго порядка (https://academy.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka) и про проксимальные методы (https://academy.yandex.ru/handbook/ml/article/proksimalnye-metody)

- конспект Жени Соколова (https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf) про градиентный спуск и красивая тетрадка (https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-gd.ipynb) про него с семов ФКН по МО

8 Запись Ноутбук Тервер 09.11.23
9 Запись Ноутбук Разлагай и властвуй 16.11.23
10 Запись Ноутбук Цепи Маркова и метод первого шага 23.11.23
11 Запись Ноутбук Непрерывные случайные величины 30.11.23
12 Запись Ноутбук Многомерные и условные распределения 07.12.23
13 Запись Ноутбук Большая сила о-малых, Пуассоновский поток 14.12.23

Записи консультаций

Формула оценивания

Оценка = 0.3*ОТесты + 0.7*ОДЗ

Домашние задания

Сдаются в Anytask

Инвайты:

  • sygz66L (базовая)
  • 6qnvYqA (продвинутая)
  1. Базовая гр.: Ручная часть, Кодовая часть | Мягкий дедлайн: 29.10.23, Жёсткий: 05.11.23
    Продвинутая гр.: "Матричные производные" | Мягкий дедлайн: 15.10.23, Жёсткий: 22.10.23 (со штрафом в 20%, после работы не принимаются)

  2. Базовая гр.: Ручная часть, Кодовая часть | Мягкий дедлайн: 10.12.2023 (Вс.), Жёсткий: 17.12.2023
    Продвинутая гр.: "Точность вычислений, SVD, операция свёртки" | Мягкий дедлайн: 19.11.23, Жёсткий: 26.11.23 (со штрафом в 20%, после работы не принимаются)

  3. Базовая гр.: Ноутбук | Мягкий дедлайн: , Жёсткий:
    Продвинутая гр.: Ноутбук | Мягкий дедлайн: , Жёсткий:

Тесты

  1. Базовая гр.: "Множества" дедлайн - 24.09.23 23:59
    Продвинутая гр.: "Оптимизация"

Литература

  • Курс алгебры, Винберг, Э. Б., 2013
  • Математический анализ задач естествознания, Зорич, В. А., 2008
  • Комбинаторика, Виленкин, Н. Я., 2013
  • Чернова Н. И. "Теория вероятностей." Новосибирск: НГУ (2007)

- Грэхем, Р., Д. Кнут, and О. Поташник. "Конкретная математика, М., Мир, Бином." (2006)
- Нестеров. Методы выпуклой оптимизации (2010)
- Boyd, Vandenberghe. Convex Optimization (2004)
- Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005)

Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Математика_для_анализа_данных_(ММОВС23,_1-2_модули)&oldid=81771»