НИС "Современное машинное обучение" 24/25 (МОВС23)

О курсе

На НИСе основная цель - научиться читать и рассказывать научные статьи. В качестве активности можно рассказать диплом или ВКР (если есть что рассказывать) или же статью из списка ниже.

Для подготовки не запрещено использовать презентации https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/tree/main/3rd%20year/Sergey_group

Список статей:

• Трансформер и attention https://arxiv.org/abs/1706.03762
• NERF https://arxiv.org/abs/2003.08934
• WaveNet https://arxiv.org/abs/1609.03499
• GNN https://arxiv.org/pdf/1812.08434.pdf
• The Lottery Ticket Hypothesis: https://arxiv.org/abs/1803.03635
• Double Descent: https://arxiv.org/abs/1912.02292
• Deep Ensembles: https://arxiv.org/abs/1612.01474
• Grokking: https://arxiv.org/abs/2201.02177
• Wasserstein GAN: https://arxiv.org/abs/1701.07875
• CLIP: https://arxiv.org/pdf/2103.00020.pdf
• LORA: https://arxiv.org/abs/2106.09685
• Neural Network Loss Landscape: https://arxiv.org/abs/1712.09913
• ChatGPT: https://arxiv.org/abs/2302.13817 или другая статья на ваш выбор
• Survey of Dropout Methods for Deep Neural Networks: https://arxiv.org/pdf/1904.13310.pdf
• Факторизационные машины https://arxiv.org/pdf/2203.11026.pdf
• Байесовские нейронные сети https://arxiv.org/pdf/2006.12024.pdf
• Stable Diffusion https://arxiv.org/abs/2112.10752
• Generative Adversarial Networks https://dl.acm.org/doi/abs/10.1145/3422622

Можно предложить другую статью или рассказать свой диплом.

Ссылка для выбора активности: https://docs.google.com/spreadsheets/d/1A_MiyBByqJFCRrkmLpTMTYcrVG4ntEQDhWb0-rOw5V8/edit?usp=sharing

Как устроены занятия: На каждом занятии разбираем 2-3 статьи.

• Один человек рассказывает (30 минут)
• Второй - задает вопросы (4-5 содержательных вопросов или больше, по желанию. Лучше подготовить больше на случай, если кто-то из слушателей задаст часть Ваших вопросов) и дополняет, если есть что дополнить (второй же делает 3-4 вопроса для теста)
• После нескольких занятий (примерно после каждого третьего занятия) студенты пишут тест на оценку

Каждый студент должен:

• либо выступить со статьей
• либо изучить статью и подготовить по ней вопросы к докладчику на занятии + 3-4 тестовых вопроса для теста
• либо записать видео на 15-20 минут с рассказом о статье на выбор / о своей дипломной работе. Затем видео отправляется двум случайным студентам - они оценивают его
• ВСЕ студенты должны писать тесты

Критерии оценки выступления:

• Тема рассказана: 0 - непонятно, 1 - общая концепция ясна, но есть много непонятного, 2 - в целом понятно, но есть вопросы, 3 - все понятно
• Тема рассказана: 0 - неинтересно, 1 - нормально, 2 - очень интересно
• Презентация сделана: 0 - плохо, 1 - нормально, 2 - хорошо
• Ответы на вопросы слушателей: 0 - ничего не отвечено, 1 - почти ничего не отвечено, 2 - отвечено частично, 3 - получены ответы на все вопросы (в случае записи разбора статьи на видео слушатели могут асинхронно задать вопросы студенту в чате в телеграме - дальше оценивают по тем же критериям)

Оценка за выступление ставится, исходя из оценки слушателей + оценки преподавателя (с весами 0.5)

Критерии оценки рассказа про ВКР:

• Общее впечатление слушателей от рассказа: 0 - плохое, 1 - средне, 2 - хорошее
• Есть постановка задачи (описание задачи, данных и выбор метрик, если применимо) и план работы над дипломом: 0 - нет ничего, 1 - есть частично, 2 - задача четко поставлена и есть план
• Обзор литературы (что сделано по этому направлению): 0 - нет или рассказано мало, 1 - есть и четко рассказано
• О продвижениях по задаче: 0 - есть только план (или его нет), 1 - сделаны первичные исследования и получены любые результаты, 2 - сделано много из запланированного и про это рассказано, 3 - сделаны основные исследования и проведены необходимые эксперименты (есть рассказ об алгоритмах, примененных подходах, архитектурах, сработавших и не сработавших идеях и так далее)
• Ответы на вопросы слушателей: 0 - ничего не отвечено, 1 - отвечено частично, 2 - получены ответы на все вопросы (в случае записи разбора статьи на видео слушатели могут асинхронно задать вопросы студенту в чате в телеграме - дальше оценивают по тем же критериям)

Оценка за выступление ставится, исходя из оценки слушателей + оценки преподавателя (с весами 0.5)

Преподаватель: Елена Кантонистова

Материалы курса

Как делать научное исследование: презентация

Формула оценивания

Формула оценки: O = 0.4 * тесты + 0.6 * (рассказ ИЛИ вопросы/тест ИЛИ запись видео). В диплом идет ЗАЧЕТ, если О >= 4, и НЕЗАЧЕТ иначе.