МОВС Математика для анализа данных (ММОВС23, 1-2 модули)

О курсе

Это курс по математике для анализа данных. Мы поговорим о подноготной ML и попытаемся не заблудиться в теоремах и доказательствах. Будет два трека: классный (базовый) и продвинутый.

• В курсе не будет АБ-тестов и матстата. Они будут в следующем семестре.
• Везде будем пытаться искать примеры из практики и нормально обосновывать, зачем мы об этом говорим.
• Забыть про слово "очевидно" и везде проговаривать, почему это именно так работает, но не упарываться доказательствами.
• Больше смысла и концепций, меньше доказательств.

Автор курса попытался замиксовать в программе курса несколько подходов. В логах лекций он будет вставлять ссылки на первоисточники. План ниже примерный. Он будет меняться в процессе лекций.

В программе для классной группы преподаватель ориентировался на адаптационный курс математики в ШАД. Программу для продвинутой группы он пытался собирать, как справочник по математике для DS. Каждая лекция должна покрыть какую-то тему, которая всплывает где-нибудь в DS, но человек может потенциально в ней плавать. Темы из тервера подготавливают базу для матстата и АБ-тестов. О них речь пойдёт в следующем семестре.

Занятия проводятся в Zoom по средам в 19:40 на базовом треке и в другом Zoom по четвергам в 19:40 на продвинутом.

Онлайн-курсы в дополнение к парам

• Математический анализ для работы с данными
• Линейная алгебра: от идеи к формуле
• Дискретная математика: подсчеты, графы, случайные блуждания

Контакты

Чат курса в TG: https://t.me/+bQaHCRYH2tBlZjdi

Преподаватель: Ульянкин Филипп Валерьевич

Ассистент	Телеграмм	Группа	Инвайт
Кирилл Долматов	@kirill_dolmatov	продвинутая	6qnvYqA
Макарова Мария	@mariagolddd
Лука Логинов	@l_loginov	базовая	sygz66L
Артём Чубов	@aachubov
Богдан Старощук	@werlord112

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub repository

Классный трек

Рукописные конспекты: https://github.com/FUlyankin/yet_another_math_for_DS/tree/main/lectures_hand_2023/base_group

Занятие	Тема	Дата	Дополнительные материалы
1 [Запись]	[Конспект] Множества. Бесконечности бывают разными	11.09.23, Пон.	Конспект лекции Листок с необязательными задачами. И решения к нему "Начала теории множеств" Шеня и Верещагина Лекция Шапошникова по Матану-1. В ней выводятся основные определения теории множеств из аксиоматики Цермелло-Френкеля. Во второй же лекции в том же плейлисте есть про теорему Кантора-Берштейна Про трёхзначную логику: на Wiki, примеры с SQL на Хабре Конспект по характеристическим функциям для проверки тождеств (по Шеню, гл.1) Книга про множества от Виленкина
2 [Ч.1], [Ч.2]	[Конспект] Матрицы. Их свойства и теоремы	20.09.23	Лекции Димы Трушина: разделы 1 и 2, а также (для себя) третий Первая неделя из курса Б. Демешева про векторы, нормы и линейные операторы. Вторая неделя про линейные оболочки, независимость и умножение матриц Неделя про определитель Запись курса MIT
3 [Ч.1], [Ч.2]	[Конспект] Определители и обратные матрицы	02.10.23	Разделы 3 и 4 из лекции Дмитрия Трушина, метод Крамера из видео Бориса Демешева
4 [Ч.1, Ч.2]	[Конспект] Линейное пространство, базис. Смена базиса, ранг матрицы	04.10.23	Раздел 6 в лекциях Димы Трушина
5 [Ч.1, Ч.2]	[Конспект] Линейное отображение. Проекторы, kNN	11.10.23	Конспект Димы Трушина
6 [Ч.1, Ч.2]	[Конспект] Линейный оператор, спектральное разложение. Билинейные формы	18.10.23	Неделя 4 и Неделя 5 Демешева
7 [видео 1: QR и SVD, видео 2: SVD]	Посиделка 7: нормы, QR-разложение и SVD [[1]]	01.11.23	В логах advanced группы[2] есть много ссылок на разные приложения матричных разложений. Если хотите копнуть в них глубже, посмотрите их видосы 🙂
8 Запись	Ноутбук Ликбез по оптимизации: лагранжиан, матричные производные	08.11.23
9 Запись	Ноутбук Базовый тервер, сигма-алгебра, классическая и условная вероятности, формула Байеса	13.11.23, Пон.
10 Запись	Ноутбук Комбинаторика и дискретные случайные величины	22.11.23
11 Запись	Ноутбук Функция распределения, непрерывные случайные величины	29.11.23
12 Запись	Ноутбук Многомерные распределения, зависимости между случайными величинами	06.12.23
13 Запись	Ноутбук Условные распределения и математические ожидания	13.12.23

Продвинутый трек

Занятие	Тема	Дата	Дополнительные материалы
1 [Запись]	[Конспект] Матричные производные и оптимизация	14.09.23	Раздел про матричные производные на странице Филиппа про DL Конспект о матричных производных от физтеха "The Matrix Cookbook" Матричный калькулятор для взятия любых производных
2 [Ч.1], [Ч.2]	[Конспекты: matdiff (пр-е), LU] Матричные производные (продолжение). LU-разложение	21.09.23	Видео про решение систем и LU-разложения от Ивана Оседелец Видео про вывод LU-разложения от MIT
3 [Ч.1], [Ч.2]	[Конспект] Матричные разложения: SVD, QR и LU-разложения	28.09.23	Конспект про сингулярное разложение, много др. годных конспектов от тех же ребят Неделя про спектральное разложение, Неделя про SVD курса Демешева Видос про матрицы для самых маленьких
4 [Ч.1, Ч.2]	[Конспект] SVD, PCA. Тематическое моделирование	05.10.23	Конспект Филиппа про PCA для семинара на ФКН, ноутбук для него же PCA в картинках Конспект лекции, Конспект семинара про спектральную кластеризацию с ФКН Видео с лекции (Евгений Соколов), видео семинара (Филипп Ульянкин) Брутальные лекции Лены Буниной из ШАДа
5 [Ч.1, Ч.2]	[Конспект] Стабильность вычислений, числа обусловленности. Как компьютер делает SVD	12.10.23	Презентация Стаса из ШАДа про стабильность вычислений Курс Ивана Оседлец по вычислительному линалу, Первая лекция Список книг, Постер с матричными разложениями
6 [Ч.1, Ч.2]	[Конспект] Комбинаторика, специальные числа	19.10.23	Конспект первой части про ККТ с ФКН Клёвый курс по оптимизации от Дани Меркулова из МФТИ: видео с курса, логи занятий Книга Нестерова про выпуклую оптимизацию, Классическая книга по выпуклой оптимизации от Boyd из Стэнфорда Лекция Ветрова про необычные свойства функций потерь в DL, Картинки с ландшафтом Loss'ов, Код и статья
7 [видео 1, видео 2]	[Конспект] градиентные спуски методы второго порядка, скорость сходимости градиентного спуска (в следующий раз довыведем)	02.11.23	Что посмотреть: - листочек с ручными задачами (https://fulyankin.github.io/deep_learning_masha_book/problem_set_02_gradient/problem_01.html) на градиентный спуск с моего курса по глубинному обучению - конспект ШАД про оптимизацию в ML (https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml), про методы второго порядка (https://academy.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka) и про проксимальные методы (https://academy.yandex.ru/handbook/ml/article/proksimalnye-metody) - конспект Жени Соколова (https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf) про градиентный спуск и красивая тетрадка (https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-gd.ipynb) про него с семов ФКН по МО
8 Запись	Ноутбук Тервер	09.11.23
9 Запись	Ноутбук Разлагай и властвуй	16.11.23
10 Запись	Ноутбук Цепи Маркова и метод первого шага	23.11.23
11 Запись	Ноутбук Непрерывные случайные величины	30.11.23
12 Запись	Ноутбук Многомерные и условные распределения	07.12.23
13 Запись	Ноутбук Большая сила о-малых, Пуассоновский поток	14.12.23

Формула оценивания

Оценка = 0.3*О_Тесты + 0.7*О_ДЗ

Домашние задания

Сдаются в Anytask

Инвайты:

• sygz66L (базовая)
• 6qnvYqA (продвинутая)

1. Базовая гр.: Ручная часть, Кодовая часть | Мягкий дедлайн: 29.10.23, Жёсткий: 05.11.23
   Продвинутая гр.: "Матричные производные" | Мягкий дедлайн: 15.10.23, Жёсткий: 22.10.23 (со штрафом в 20%, после работы не принимаются)
   
   
2. Базовая гр.: Ручная часть, Кодовая часть | Мягкий дедлайн: 10.12.2023 (Вс.), Жёсткий: 17.12.2023
   Продвинутая гр.: "Точность вычислений, SVD, операция свёртки" | Мягкий дедлайн: 19.11.23, Жёсткий: 26.11.23 (со штрафом в 20%, после работы не принимаются)
   
   
3. Базовая гр.: Ноутбук | Мягкий дедлайн: , Жёсткий:
   Продвинутая гр.: Ноутбук | Мягкий дедлайн: , Жёсткий:
   

Тесты

1. Базовая гр.: "Множества" дедлайн - 24.09.23 23:59
   Продвинутая гр.: "Оптимизация"

Литература

• Курс алгебры, Винберг, Э. Б., 2013
• Математический анализ задач естествознания, Зорич, В. А., 2008
• Комбинаторика, Виленкин, Н. Я., 2013
• Чернова Н. И. "Теория вероятностей." Новосибирск: НГУ (2007)

- Грэхем, Р., Д. Кнут, and О. Поташник. "Конкретная математика, М., Мир, Бином." (2006)
- Нестеров. Методы выпуклой оптимизации (2010)
- Boyd, Vandenberghe. Convex Optimization (2004)
- Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005)