Просмотр исходного текста страницы ИИ Математика для анализа данных (ИИ24, 1-2 модули)

==О курсе==

Это курс по математике для анализа данных. Мы поговорим о поднаготной ML и попытаемся не заблудиться в теоремах и доказательствах. Будет два трека: продвинутый и классный. Программа продвинутой группы выглядит как справочник по продвинутой математике в ML. Мы посвятим основное время матричным производным, матричным разложениям, оптимизации и теории вероятностей. Программа классной группы будет более базовой. Мы вспомним в ней основные вещи из линейной алгебры, оптимизации и теории вероятностей. 

* В курсе не будет АБ-тестов и матстата. Они будут в следующем семестре. 
* Везде будем пытаться искать примеры из практики.
* Забыть про слово "очевидно" и везде проговаривать, почему это именно так работает, но не закапываться доказательствами.
* Больше смысла и концепций, меньше доказательств.

==Контакты==

Чат курса: https://t.me/+68qSE6ixiYU1Mzcy

Преподаватели: 
* Филипп [https://t.me/ppilif @ppilif]
* Руслан [https://t.me/dr7lan @dr7lan]

{| class="wikitable"
|-
! Ассистент !! Группа !! Телеграмм
|-
| style="background:#eaecf0;" | Артем Бугров ||   ||  [https://t.me/temofeychenko @temofeychenko]
|-
| style="background:#eaecf0;" | Роман Тишин ||  || [https://t.me/RomaDone @RomaDone]
|-
| style="background:#eaecf0;" | Мария Харченко || || [https://t.me/mister_autocrat @mister_autocrat]
|-
| style="background:#eaecf0;" | Виталий Тихомиров || || [https://t.me/onthebox @onthebox]
|-
| style="background:#eaecf0;" | Роман Залесинский || || [https://t.me/roman_zalesinskii @roman_zalesinskii]
|-
| style="background:#eaecf0;" | Анна Ибрагимова || || [https://t.me/annaseeghosts @annaseeghosts]
|-
| style="background:#eaecf0;" | Никита Чуйкин || || [https://t.me/darcy_tremor @darcy_tremor]
|-
| style="background:#eaecf0;" | Роберт Сулоев || || [https://t.me/smechnoyprikol @smechnoyprikol]
|}

==Материалы курса==

* [https://www.youtube.com/playlist?list=PLNKXA-74YGLj8E3RcNoDorfzGaJ8wVl44 Плейлист с записями лекций Фила на youtube]
* [https://www.youtube.com/playlist?list=PLmA-1xX7IuzDD2tiRtGrbZOJDRNyTTb3s Плейлист с записями лекций Руслана на youtube]
* [https://github.com/FUlyankin/yet_another_math_for_DS GitHub с материалами курса]

===Классный трек Руслана=== 
{| class="wikitable"
|-
 ! Занятие !! Тема !! Дата !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [https://youtu.be/I02oMmiVn-w youtube] [https://vk.com/video-227011779_456239037?list=ln-qbKtQoh13N8knXt2mB vk] || Множества || 10.09.24 ||
|-
| style="background:#eaecf0;" | '''2''' [https://youtu.be/Mo30U-2kDpM youtube] [https://vk.com/video-227011779_456239051?list=ln-utaIYHUateUsGyrc6O vk] || Матрицы. Их свойства и теоремы  || 17.09.24 || 
|-
| style="background:#eaecf0;" | '''3''' [https://youtu.be/C_wTA6OYwS0 youtube] [https://vk.com/video-227011779_456239063?list=ln-MlK9f1jQJHyp6S71NE vk] || Определители  || 24.09.24 || 
|-
| style="background:#eaecf0;" | '''4''' [https://youtu.be/SWmb7GStLMI youtube] [https://vk.com/video-227011779_456239080 vk] || Линейное пространство  || 01.10.24 || 
|-
| style="background:#eaecf0;" | '''5''' [https://youtu.be/0jGfJUiEUrk youtube] [https://vk.com/video-227011779_456239093?list=ln-MNkLeHqZFVxmZzPyxz vk] ||  Линейные операторы  ||  08.10.24 || 
|-
| style="background:#eaecf0;" | '''6''' [ youtube] [ vk] ||   ||  || 

|}

===Классный трек Филиппа=== 
[https://disk.yandex.ru/d/CuzjraSQsH_2sw Записи всех лекций на yadisk]
{| class="wikitable"
|-
 ! Занятие !! Тема !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' 10.09.24 [https://youtube.com/playlist?list=PLNKXA-74YGLj8E3RcNoDorfzGaJ8wVl44&si=8CseQjLuHsYMd2NR youtube] [https://vk.com/video-227011779_456239038?list=ln-ezXDb5pUkX2AewVLFI vk] [https://t.me/c/2158418718/6/425 Конспект лекции] [https://t.me/c/2158418718/6/424 PDF Конспект лекции]|| Множества ||  Ну и вот вам ещё списочек чего почитать/посмотреть:

* Нестареющая классика: начала теории множеств Шеня и Верещагина [https://www.mccme.ru/free-books/shen/shen-logic-part1-5ed.pdf]
* [https://www.youtube.com/watch?v=ykOwRv70pm8&list=PLp9ABVh6_x4GLL-lQyyCU5MFWcVFK0Iac&index=1&t=3891s Лекция Шапошникова по матану-1], где он выводит все основные определения теории множеств из аксиоматики Цермелло-Френкеля. Во второй лекции в этом же плейлисте есть про теорему Кантора-Берштейна. Дальше он аккуратно строит действительные числа.
* Про трёхзначную логику можно почитать на вики, [https://en.wikipedia.org/wiki/Three-valued_logic]
* на хабре есть примеры с SQL [https://habr.com/ru/articles/127327/]

 [https://www.youtube.com/watch?v=ENCtjrfuar4 И помните, правильная математика та, которая вас качает.] 
|-
| style="background:#eaecf0;" | '''2'''  24.09.24 [https://youtu.be/0e9vGdBvtWs?si=BRPMcIOEfGsGkBIx youtube] [https://vk.com/video-227011779_456239064?list=ln-QsoAjj5Tz4Mh6D8dyV vk] [https://t.me/c/2158418718/6/935 Конспект лекции]|| Матрицы и СЛАУ  || 
* При составлении первой лекции по линалу, я ориентировался на конспет Димы Трушина с ФКН.  [https://github.com/DimaTrushin/LinearAlgebra/blob/master/main.pdf] Можно его читать, там очень качественный контент.
* Также можно посмотреть курс Бориса Демешева. [https://www.youtube.com/watch?v=OErVswuyx0w&list=PLCf-cQCe1FRw6Zk0o4d3bV7dvGotY8E7h]  На канале лежит 5 недель его видосов. Иногда я буду что-то воровать для лекций из него. 
* Ещё есть прикольный, но довольно старый курс от MIT. [https://www.youtube.com/watch?v=J7DzL2_Na80&list=PLE7DDD91010BC51F8&index=3] Там довольно приятный английский.
[https://www.youtube.com/watch?v=0Ji4kJ3-0E4 И помните, дельта альфа альфа штрих.] 

От Стренга из MIT (его плейлист последний выше) есть две хорошие книги по линалу: 
*https://math.mit.edu/~gs/learningfromdata/ 
На сайте урезанная версия, но все мы знаем, где искать полную. (https://annas-archive.org/)

P.S. книги Кострыкина/Винберга и тп тоже хорошие, если вы готовы закапываться в математику и абстрактные структуры с головой. Всё таки в списке выше с этим будет попроще.

|-
| style="background:#eaecf0;" | '''3''' 01.10.24 [https://youtu.be/XwbcCEnnfWg?feature=shared youtube] [https://vk.com/video-227011779_456239081?list=ln-Ic3bxSuszt28iSMiTS vk] [https://t.me/c/2158418718/6/1127 Конспект лекции]|| Обратная матрица и определитель || Лекция про матрицы/СЛАУ это первые две главы из конспекта Дмитрия Трушина. Лекция про определитель — четвёртая глава. || 
|-
| style="background:#eaecf0;" | '''4''' 08.10.24 [https://youtu.be/hmjn9CXJKtI youtube] [https://vk.com/video-227011779_456239094?list=ln-z5sw9vmzyHLo3znYqR vk] [https://t.me/c/2158418718/6/1292 Конспект лекции]|| Линейное пространство  || || 
|-
| style="background:#eaecf0;" | '''5''' [youtube] [ vk] [ Конспект лекции]||   || || 
|-
| style="background:#eaecf0;" | '''6''' [youtube] [ vk] [ Конспект лекции]||   || || 

|}

===Продвинутый трек Филиппа=== 
[https://disk.yandex.ru/d/A8kmyqBkrREoCw Запись всех лекций на ydisk]
{| class="wikitable"
|-
 ! Занятие !! Тема !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1'''  11.09.24 [https://youtu.be/ZWGQzUracyQ?feature=shared youtube] [https://vk.com/video-227011779_456239039?list=ln-YLQHstGqsqAShpyLka vk] [https://t.me/c/2158418718/4/507 Конспект лекции]|| Матричные производные   ||Где можно подробнее узнать про матричные производные? 

* Наш конспект про матричные производные с ФКН [https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf]
* Моя страничка про DL, там в разделе про матричные производные [https://fulyankin.github.io/deep_learning_masha_book/problem_set_10_matrix_diff/intro_10.html] то же самое что в конспекте ФКН, но есть несколько дополнительных разобранных задач 
* Коспект о матричных производных от физтеха [http://www.machinelearning.ru/wiki/images/5/50/MOMO17_Seminar2.pdf]
* The Matrix Cookbook [https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf], в этой книжке в целом много интересных формул
* Матричный калькулятор [https://www.matrixcalculus.org/] для взятия любых производных 

[https://www.youtube.com/watch?v=7wFgvR-EEA0 И помните, производная это просто, скорость роста, это скорость роста] 
|-
| style="background:#eaecf0;" | '''2''' 25.09.24 [https://youtu.be/55L8YWB31HA youtube] [https://vk.com/video-227011779_456239065?list=ln-zeOjZZVZRiStzhUnBb vk] [https://t.me/c/2158418718/4/974 Конспект лекции]|| Матричные производные vol.2  ||
|-
| style="background:#eaecf0;" | '''3''' 27.09.24 [https://youtu.be/ITpsuXmrAK8?feature=shared youtube] [https://vk.com/video-227011779_456239077?list=ln-qmyCK9nq2H52SdvlKG vk] [https://t.me/c/2158418718/4/1157 Конспект лекции]|| LU и QR разложения ||
|-
| style="background:#eaecf0;" | '''4''' 02.10.24 [https://youtu.be/rWndBiuVAhc youtube] [https://vk.com/video-227011779_456239082?list=ln-PtZbJYw0fGeqH36yKn vk] [https://t.me/c/2158418718/4/1158 Конспект лекции]||  SVD || 
- Конспект Филиппа про PCA [https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem12-pca.pdf] для семинара на ФКН, питоновская тетрадка [https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem12_pca_tsne.ipynb] для него же

- Милый видос про матрицы для самых маленьких [https://www.youtube.com/watch?v=Or119IXozCM&t=1s]

- Конспект лекции про спектральную кластеризацию [https://github.com/esokolov/ml-course-hse/blob/master/2020-spring/lecture-notes/lecture17-clusterization.pdf] с ФКН, конспект семинара про неё. [https://github.com/esokolov/ml-course-hse/blob/master/2021-spring/seminars/sem18-graph-clustering.pdf] Структура такая: на лекции были основные идеи, на семинаре доказательство эквивалентности графового подхода и подхода через собственные вектора.  Видео с лекции Жени, [https://youtu.be/4CJUXlfFcM4?si=800BhcUUnR3PphQu&t=2071] видео моего семинара [https://www.youtube.com/watch?v=y_a2DVsYM_o&feature=youtu.be]
- [https://t.me/c/2158418718/4/1359 ALS]
- Вот тут можно поугарать [https://www.youtube.com/watch?v=MEBjnGaHsmw] над тематическим моделированием и посмотреть код для него.  [https://github.com/DmitrySerg/top-russian-music] Не уверн что это полезно, но пусть будет.
|-
| style="background:#eaecf0;" | '''5''' 09.10.24 [https://youtu.be/RgG1CZKOpNA youtube] [https://vk.com/video-227011779_456239095?list=ln-u8yMHlWZ6cd3LCSwaX vk] [https://t.me/c/2158418718/4/1356 Конспект лекции]|| Низкоранговые приближения, PCA || 
|-
<!--
-
| style="background:#eaecf0;" | '''N''' .10.24 [ youtube] [ vk] [Конспект лекции]||   ||
|- 
-->
|}

==Формула оценивания==

После каждой лекции будет выдаваться домашка. Всего их будет 12 штук. Итоговая оценка за курс ставится как среднее за 8 лучше всего сделанных домашек.

== Домашние задания ==

Сдача домашних заданий предусмотрена в Anytask<br />

'''Инвайты для Anytask'''
* Базовая группа Руслана - FoDsdVW
* Базовая группа Филиппа - oTWs5CL
* Продвинутая группа Филиппа - 0uaUBZV

'''Задания базовой группы'''
{| class="wikitable"
|-
 ! Тема !! Задание !! Жесткий дедлайн !!
|-
| style="background:#eaecf0;" | '''1''' Множества || Тест [https://docs.google.com/forms/d/e/1FAIpQLSdZIwcvPbiZEWis9C1cUw6IoB88o_ZQM16ePS7uptobYWHxYw/viewform?usp=sf_link]  || 23:59 29 сентября 2024 года
|-
| style="background:#eaecf0;" | '''2''' СЛАУ и матрицы || [https://t.me/c/2158418718/6/743]  || 23:59 13 октября 
|-
| style="background:#eaecf0;" | '''3''' Обратная матрица и определитель || [https://t.me/c/2158418718/6/1124]  || 23:59 20 октября 
|-
| style="background:#eaecf0;" | '''4''' Определитель, линейная независимость||   [https://t.me/c/2158418718/8/1404]  || 27 октября 23:59
|-
|-
| style="background:#eaecf0;" | '''5''' ||  ||  ||
|-
|-
| style="background:#eaecf0;" | '''6''' ||  ||  ||
|-
|}

'''Задания продвинутой группы'''
{| class="wikitable"
|-
 ! Тема !! Задание !! Жесткий дедлайн !!
|-
| style="background:#eaecf0;" | '''1''' Матричное дифФфФфФференцирование (часть 1) || [https://t.me/c/2158418718/4/517]  || 23:59 29 сентября 2024 года
|-
| style="background:#eaecf0;" | '''2''' Матричное дифФфФфФференцирование (часть 2) || [https://t.me/c/2158418718/4/979] || 23:59 13 октября 2024 года
|-
| style="background:#eaecf0;" | '''3''' Матричное разложения || [https://t.me/c/2158418718/4/1166] || 23:59 20 октября 2024 года
|-
| style="background:#eaecf0;" | '''4''' SVD|| [https://t.me/c/2158418718/4/1167] ||  23:59 27 октября 2024
|-
|-
| style="background:#eaecf0;" | '''5''' SVD vol.2 || [https://t.me/c/2158418718/4/1402]   || 23:59 01 ноября 2024
|-
|-
| style="background:#eaecf0;" | '''6''' ||  ||  ||
|-
|}