Методы предобучения без учителя 22/23
Содержание
О курсе
С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.
Расписание
Занятия проводятся оффлайн по вторникам.
Лекция: 11:10 - 12:30
Семинары: 13:00 - 14:20
Полезные ссылки
Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi
Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy
Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.
github курса: https://github.com/ashaba1in/hse-ssl
Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT
Преподаватели и ассистенты
| Преподаватели | Ассистенты |
|---|---|
| Ильдус Садртдинов | Алексей Биршерт |
| Александр Шабалин |
Домашние задания
Домашнее задание №1: Задание посвящено реализации классических методов предобучения.
Ссылка на условие, ссылка на соревнование в kaggle.
Домашнее задание №2: Задание посвящено контрастным методам для изображений.
Ссылка на ноутбук с заданием.
Домашнее задание №3: Задание посвящено предобучению языковых моделей.
Ссылка на ноутбук с заданием.
Формула оценок
Определим накопленную оценку как Накоп = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].
Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.
- ДЗ — оценка за домашнее задание
- МДЗ — оценка за мини домашнее задание
- Э — оценка за экзамен
Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.
Формат экзамена: устный.
