ML4SE 1

О курсе

В последние годы машинное обучение стало активно применяться в программировании и разработке. В данном курсе студенты узнают и научатся пользоваться базовыми понятиями машинного обучения, некоторыми классическими моделями и нейронными сетями, необходимыми для анализа кода.

Преподаватели:

Литвинов Денис Владимирович (Telegram)

Правила оценивания домашнего задания

1. Студент заводит приватный репозиторий на github и добавляет туда преподавателя.
2. Все домашние задания сдаются в виде jupyter notebook.
3. При сдаче работы все клетки в jupyter notebook должны быть выполнены последовательно. Если преподаватель перезапустит jupyter notebook у себя и обнаружит существенные отличия в выводе клеток, или ошибки при исполнении кода, то он может снять баллы за задание.
4. При обнаружении списывания работе ставится 0 баллов.

Просьба заполнить гугл форму перед сдачей ДЗ

Правила презентации статьи

1. Студент подготавливает презентацию c краткой выжимкой статьи и необходимыми графиками
2. Студент может пользоваться не только статьей, но и вспомогательными материалами (блоги, github)
3. Студент при желании может продемонстрировать результаты своих экспериментов на основе статьи
4. Оценка O_доклад ставится взависимости от полноты разбора, собственных изысканий студента, использованных дополнительных материалов, ответов на вопросы аудитории
5. Оценка О_активность ставится студенту на основе его вопросов докладчику. Желательно, чтобы вопросы были по материалам статьи или презентации

Oценки

ml4se_grades

Содержание учебной дисциплины

1. Linear models, ML fundamentals
2. Distributed representations
3. Feed Forward Neural Networks
4. CNN, RNN
5. Language Modeling
6. Transformers
7. Transfer learning
8. Information Retrieval
9. Modern Transformer architectures

Материалы курса:

videos

дата	тема	материалы	ДЗ	дедлайн
7.09.2021	Linear models, ML fundamentals I	presentation	assignment_1	28.09.2021 23:59
21.09.2021	Linear models, ML fundamentals II	presentation
5.10.2021	Feed Forward Neural Networks	presentation	assignment_2	8.11.2021 23:59
26.10.2021	Distributed Representations	presentation
9.10.2021	CNN, RNN	presentation
22.10.2021	Language Modeling	presentation	assignment_3	20.12.2021 23:59
12.01.2022	Seq2Seq. Transformer	presentation
25.01.2022	Paper Discussion
8.01.2022	Transfer Learning	notebook	assignment_4	01.03.2022 23:59
1.03.2022	Information Retrieval	notebook
15.03.2022	Paper Discussion		assignment_5	28.03.2022 10:00

Формула оценки

Результирующая оценка вычисляется по формуле:

О_результирующая = Округление( 0.12 * ДЗ1 + 0.12 * ДЗ2 + 0.12 * ДЗ3 + 0.12 * ДЗ4 +0.12 * ДЗ5 + 0.2 * O_доклад + 0.2 * О_активность)

Формула округления: Стандартное арифметическое округление

Рекомендованная литература

1. Goodfellow I. Deep Learning. MIT Press, 2016
2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006

Рекомендуемая дополнительная литература

1. Hastie, T. The elements of statistical learning : data mining, inference, and prediction. Springer, 2017
2. Sheldon A. Linear Algebra Done Right. Springer, 3d edition, 2015. https://linear.axler.net/
3. Kamath U. Deep Learning for NLP and Speech Recognition. Springer, 1st edition, 2019
4. Schapire. Boosting: Foundations and Algorithms. MIT Press, 2012