НИС "Современное машинное обучение" 24/25 (МОВС23) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
Murrcha (обсуждение | вклад) |
Murrcha (обсуждение | вклад) |
||
| (не показаны 3 промежуточные версии этого же участника) | |||
| Строка 1: | Строка 1: | ||
==О курсе== | ==О курсе== | ||
| − | + | На НИСе основная цель - научиться читать и рассказывать научные статьи. | |
| + | В качестве активности '''можно рассказать диплом или ВКР (если есть что рассказывать) или же статью из списка ниже'''. | ||
| − | |||
| − | + | Для подготовки не запрещено использовать презентации https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/tree/main/3rd%20year/Sergey_group | |
| − | |||
| − | + | Список статей: | |
| − | + | * Трансформер и attention https://arxiv.org/abs/1706.03762 | |
| + | * NERF https://arxiv.org/abs/2003.08934 | ||
| + | * WaveNet https://arxiv.org/abs/1609.03499 | ||
| + | * GNN https://arxiv.org/pdf/1812.08434.pdf | ||
| + | * The Lottery Ticket Hypothesis: https://arxiv.org/abs/1803.03635 | ||
| + | * Double Descent: https://arxiv.org/abs/1912.02292 | ||
| + | * Deep Ensembles: https://arxiv.org/abs/1612.01474 | ||
| + | * Grokking: https://arxiv.org/abs/2201.02177 | ||
| + | * Wasserstein GAN: https://arxiv.org/abs/1701.07875 | ||
| + | * CLIP: https://arxiv.org/pdf/2103.00020.pdf | ||
| + | * LORA: https://arxiv.org/abs/2106.09685 | ||
| + | * Neural Network Loss Landscape: https://arxiv.org/abs/1712.09913 | ||
| + | * ChatGPT: https://arxiv.org/abs/2302.13817 или другая статья на ваш выбор | ||
| + | * Survey of Dropout Methods for Deep Neural Networks: https://arxiv.org/pdf/1904.13310.pdf | ||
| + | * Факторизационные машины https://arxiv.org/pdf/2203.11026.pdf | ||
| + | * Байесовские нейронные сети https://arxiv.org/pdf/2006.12024.pdf | ||
| + | * Stable Diffusion https://arxiv.org/abs/2112.10752 | ||
| + | * Generative Adversarial Networks https://dl.acm.org/doi/abs/10.1145/3422622 | ||
| − | + | Можно предложить другую статью или рассказать свой диплом. | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | |||
| − | + | Ссылка для выбора активности: https://docs.google.com/spreadsheets/d/1A_MiyBByqJFCRrkmLpTMTYcrVG4ntEQDhWb0-rOw5V8/edit?usp=sharing | |
| − | |||
| − | + | '''Как устроены занятия:''' | |
| + | На каждом занятии разбираем 2-3 статьи. | ||
| + | * Один человек рассказывает (30 минут) | ||
| + | * Второй - задает вопросы (4-5 содержательных вопросов или больше, по желанию. Лучше подготовить больше на случай, если кто-то из слушателей задаст часть Ваших вопросов) и дополняет, если есть что дополнить (второй же делает 3-4 вопроса для теста) | ||
| + | * После нескольких занятий (примерно после каждого третьего занятия) студенты пишут тест на оценку | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | == | + | '''Каждый студент должен:''' |
| − | + | * либо выступить со статьей | |
| − | + | * либо изучить статью и подготовить по ней вопросы к докладчику на занятии + 3-4 тестовых вопроса для теста | |
| − | + | * либо записать видео на 15-20 минут с рассказом о статье на выбор / о своей дипломной работе. Затем видео отправляется двум случайным студентам - они оценивают его | |
| − | + | * ВСЕ студенты должны писать тесты | |
| + | |||
| + | |||
| + | '''Критерии оценки выступления:''' | ||
| + | * Тема рассказана: 0 - непонятно, 1 - общая концепция ясна, но есть много непонятного, 2 - в целом понятно, но есть вопросы, 3 - все понятно | ||
| + | * Тема рассказана: 0 - неинтересно, 1 - нормально, 2 - очень интересно | ||
| + | * Презентация сделана: 0 - плохо, 1 - нормально, 2 - хорошо | ||
| + | * Ответы на вопросы слушателей: 0 - ничего не отвечено, 1 - почти ничего не отвечено, 2 - отвечено частично, 3 - получены ответы на все вопросы (в случае записи разбора статьи на видео слушатели могут асинхронно задать вопросы студенту в чате в телеграме - дальше оценивают по тем же критериям) | ||
| + | |||
| + | Оценка за выступление ставится, исходя из оценки слушателей + оценки преподавателя (с весами 0.5) | ||
| + | |||
| + | |||
| + | '''Критерии оценки рассказа про ВКР:''' | ||
| + | * Общее впечатление слушателей от рассказа: 0 - плохое, 1 - средне, 2 - хорошее | ||
| + | * Есть постановка задачи (описание задачи, данных и выбор метрик, если применимо) и план работы над дипломом: 0 - нет ничего, 1 - есть частично, 2 - задача четко поставлена и есть план | ||
| + | * Обзор литературы (что сделано по этому направлению): 0 - нет или рассказано мало, 1 - есть и четко рассказано | ||
| + | * О продвижениях по задаче: 0 - есть только план (или его нет), 1 - сделаны первичные исследования и получены любые результаты, 2 - сделано много из запланированного и про это рассказано, 3 - сделаны основные исследования и проведены необходимые эксперименты (есть рассказ об алгоритмах, примененных подходах, архитектурах, сработавших и не сработавших идеях и так далее) | ||
| + | * Ответы на вопросы слушателей: 0 - ничего не отвечено, 1 - отвечено частично, 2 - получены ответы на все вопросы (в случае записи разбора статьи на видео слушатели могут асинхронно задать вопросы студенту в чате в телеграме - дальше оценивают по тем же критериям) | ||
| + | |||
| + | Оценка за выступление ставится, исходя из оценки слушателей + оценки преподавателя (с весами 0.5) | ||
| + | |||
| + | |||
| + | '''Преподаватель:''' Елена Кантонистова | ||
| + | |||
| + | ==Материалы курса== | ||
| + | |||
| + | Как делать научное исследование: [https://disk.yandex.ru/i/Ksrd_6o_7-UXyA презентация] | ||
| + | |||
| + | ==Формула оценивания== | ||
| + | |||
| + | Формула оценки: '''O = 0.4 * тесты + 0.6 * (рассказ ИЛИ вопросы/тест ИЛИ запись видео). В диплом идет ЗАЧЕТ, если О >= 4, и НЕЗАЧЕТ иначе.''' | ||
Текущая версия на 16:37, 13 января 2025
О курсе
На НИСе основная цель - научиться читать и рассказывать научные статьи. В качестве активности можно рассказать диплом или ВКР (если есть что рассказывать) или же статью из списка ниже.
Для подготовки не запрещено использовать презентации https://github.com/bayesgroup/HSE_ML_research_seminar_22_23/tree/main/3rd%20year/Sergey_group
Список статей:
- Трансформер и attention https://arxiv.org/abs/1706.03762
- NERF https://arxiv.org/abs/2003.08934
- WaveNet https://arxiv.org/abs/1609.03499
- GNN https://arxiv.org/pdf/1812.08434.pdf
- The Lottery Ticket Hypothesis: https://arxiv.org/abs/1803.03635
- Double Descent: https://arxiv.org/abs/1912.02292
- Deep Ensembles: https://arxiv.org/abs/1612.01474
- Grokking: https://arxiv.org/abs/2201.02177
- Wasserstein GAN: https://arxiv.org/abs/1701.07875
- CLIP: https://arxiv.org/pdf/2103.00020.pdf
- LORA: https://arxiv.org/abs/2106.09685
- Neural Network Loss Landscape: https://arxiv.org/abs/1712.09913
- ChatGPT: https://arxiv.org/abs/2302.13817 или другая статья на ваш выбор
- Survey of Dropout Methods for Deep Neural Networks: https://arxiv.org/pdf/1904.13310.pdf
- Факторизационные машины https://arxiv.org/pdf/2203.11026.pdf
- Байесовские нейронные сети https://arxiv.org/pdf/2006.12024.pdf
- Stable Diffusion https://arxiv.org/abs/2112.10752
- Generative Adversarial Networks https://dl.acm.org/doi/abs/10.1145/3422622
Можно предложить другую статью или рассказать свой диплом.
Ссылка для выбора активности: https://docs.google.com/spreadsheets/d/1A_MiyBByqJFCRrkmLpTMTYcrVG4ntEQDhWb0-rOw5V8/edit?usp=sharing
Как устроены занятия:
На каждом занятии разбираем 2-3 статьи.
- Один человек рассказывает (30 минут)
- Второй - задает вопросы (4-5 содержательных вопросов или больше, по желанию. Лучше подготовить больше на случай, если кто-то из слушателей задаст часть Ваших вопросов) и дополняет, если есть что дополнить (второй же делает 3-4 вопроса для теста)
- После нескольких занятий (примерно после каждого третьего занятия) студенты пишут тест на оценку
Каждый студент должен:
- либо выступить со статьей
- либо изучить статью и подготовить по ней вопросы к докладчику на занятии + 3-4 тестовых вопроса для теста
- либо записать видео на 15-20 минут с рассказом о статье на выбор / о своей дипломной работе. Затем видео отправляется двум случайным студентам - они оценивают его
- ВСЕ студенты должны писать тесты
Критерии оценки выступления:
- Тема рассказана: 0 - непонятно, 1 - общая концепция ясна, но есть много непонятного, 2 - в целом понятно, но есть вопросы, 3 - все понятно
- Тема рассказана: 0 - неинтересно, 1 - нормально, 2 - очень интересно
- Презентация сделана: 0 - плохо, 1 - нормально, 2 - хорошо
- Ответы на вопросы слушателей: 0 - ничего не отвечено, 1 - почти ничего не отвечено, 2 - отвечено частично, 3 - получены ответы на все вопросы (в случае записи разбора статьи на видео слушатели могут асинхронно задать вопросы студенту в чате в телеграме - дальше оценивают по тем же критериям)
Оценка за выступление ставится, исходя из оценки слушателей + оценки преподавателя (с весами 0.5)
Критерии оценки рассказа про ВКР:
- Общее впечатление слушателей от рассказа: 0 - плохое, 1 - средне, 2 - хорошее
- Есть постановка задачи (описание задачи, данных и выбор метрик, если применимо) и план работы над дипломом: 0 - нет ничего, 1 - есть частично, 2 - задача четко поставлена и есть план
- Обзор литературы (что сделано по этому направлению): 0 - нет или рассказано мало, 1 - есть и четко рассказано
- О продвижениях по задаче: 0 - есть только план (или его нет), 1 - сделаны первичные исследования и получены любые результаты, 2 - сделано много из запланированного и про это рассказано, 3 - сделаны основные исследования и проведены необходимые эксперименты (есть рассказ об алгоритмах, примененных подходах, архитектурах, сработавших и не сработавших идеях и так далее)
- Ответы на вопросы слушателей: 0 - ничего не отвечено, 1 - отвечено частично, 2 - получены ответы на все вопросы (в случае записи разбора статьи на видео слушатели могут асинхронно задать вопросы студенту в чате в телеграме - дальше оценивают по тем же критериям)
Оценка за выступление ставится, исходя из оценки слушателей + оценки преподавателя (с весами 0.5)
Преподаватель: Елена Кантонистова
Материалы курса
Как делать научное исследование: презентация
Формула оценивания
Формула оценки: O = 0.4 * тесты + 0.6 * (рассказ ИЛИ вопросы/тест ИЛИ запись видео). В диплом идет ЗАЧЕТ, если О >= 4, и НЕЗАЧЕТ иначе.
