Методы предобучения без учителя 22/23 — различия между версиями
(Новая страница: «Методы предобучения без учителя 22/23») |
м |
||
| (не показано 12 промежуточных версии 2 участников) | |||
| Строка 1: | Строка 1: | ||
| − | + | == О курсе == | |
| + | |||
| + | С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов. | ||
| + | |||
| + | == Расписание == | ||
| + | |||
| + | Занятия проводятся оффлайн по вторникам. | ||
| + | |||
| + | Лекция: 11:10 - 12:30 | ||
| + | |||
| + | Семинары: 13:00 - 14:20 | ||
| + | |||
| + | == Полезные ссылки == | ||
| + | |||
| + | Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi | ||
| + | |||
| + | Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy | ||
| + | |||
| + | Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY. | ||
| + | |||
| + | github курса: https://github.com/ashaba1in/hse-ssl | ||
| + | |||
| + | Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT | ||
| + | |||
| + | == Преподаватели и ассистенты == | ||
| + | |||
| + | {| class="wikitable" | ||
| + | |- | ||
| + | ! Преподаватели !! Ассистенты | ||
| + | |- | ||
| + | | [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/Birshert Алексей Биршерт] | ||
| + | |- | ||
| + | | [https://t.me/amshabalin Александр Шабалин] || | ||
| + | |- | ||
| + | |} | ||
| + | |||
| + | == Домашние задания == | ||
| + | |||
| + | '''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения. | ||
| + | |||
| + | Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle. | ||
| + | |||
| + | '''Домашнее задание №2:''' Задание посвящено контрастным методам для изображений. | ||
| + | |||
| + | Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework2_contrastive.ipynb ноутбук] с заданием. | ||
| + | |||
| + | '''Домашнее задание №3:''' Задание посвящено предобучению языковых моделей. | ||
| + | |||
| + | Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework3_lms/homework3_lms.ipynb ноутбук] с заданием. | ||
| + | |||
| + | == Формула оценок == | ||
| + | |||
| + | Определим накопленную оценку как ''Накоп'' = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2]. | ||
| + | |||
| + | ''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое. | ||
| + | |||
| + | * ДЗ — оценка за домашнее задание | ||
| + | * МДЗ — оценка за мини домашнее задание | ||
| + | * Э — оценка за экзамен | ||
| + | |||
| + | Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен. | ||
| + | |||
| + | '''Формат экзамена''': устный. | ||
Текущая версия на 12:32, 24 мая 2023
Содержание
О курсе
С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.
Расписание
Занятия проводятся оффлайн по вторникам.
Лекция: 11:10 - 12:30
Семинары: 13:00 - 14:20
Полезные ссылки
Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi
Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy
Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.
github курса: https://github.com/ashaba1in/hse-ssl
Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT
Преподаватели и ассистенты
| Преподаватели | Ассистенты |
|---|---|
| Ильдус Садртдинов | Алексей Биршерт |
| Александр Шабалин |
Домашние задания
Домашнее задание №1: Задание посвящено реализации классических методов предобучения.
Ссылка на условие, ссылка на соревнование в kaggle.
Домашнее задание №2: Задание посвящено контрастным методам для изображений.
Ссылка на ноутбук с заданием.
Домашнее задание №3: Задание посвящено предобучению языковых моделей.
Ссылка на ноутбук с заданием.
Формула оценок
Определим накопленную оценку как Накоп = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].
Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.
- ДЗ — оценка за домашнее задание
- МДЗ — оценка за мини домашнее задание
- Э — оценка за экзамен
Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.
Формат экзамена: устный.
