Методы предобучения без учителя 22/23 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м
м
 
(не показано 6 промежуточных версии 2 участников)
Строка 5: Строка 5:
 
== Расписание ==
 
== Расписание ==
  
Занятия проводятся оффлайн по вторникам в R205.
+
Занятия проводятся оффлайн по вторникам.
  
 
Лекция: 11:10 - 12:30
 
Лекция: 11:10 - 12:30
Строка 13: Строка 13:
 
== Полезные ссылки ==
 
== Полезные ссылки ==
  
Канал с объявлениями в telegram : https://t.me/+ADIqh4XT1qNkMDEy
+
Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi
 +
 
 +
Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy
 +
 
 +
Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.
 +
 
 +
github курса: https://github.com/ashaba1in/hse-ssl
 +
 
 +
Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT
  
 
== Преподаватели и ассистенты ==
 
== Преподаватели и ассистенты ==
Строка 26: Строка 34:
 
|-
 
|-
 
|}
 
|}
 +
 +
== Домашние задания ==
 +
 +
'''Домашнее задание №1:''' Задание посвящено реализации классических методов предобучения.
 +
 +
Ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing условие], ссылка на [https://docs.google.com/document/d/1EbD5fTB3uMYdqxhRj-_CLYpMuEQSJmBcEhFhoRPB9cY/edit?usp=sharing соревнование] в kaggle.
 +
 +
'''Домашнее задание №2:''' Задание посвящено контрастным методам для изображений.
 +
 +
Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework2_contrastive.ipynb ноутбук] с заданием.
 +
 +
'''Домашнее задание №3:''' Задание посвящено предобучению языковых моделей.
 +
 +
Ссылка на [https://github.com/ashaba1in/hse-ssl/blob/main/homeworks/homework3_lms/homework3_lms.ipynb ноутбук] с заданием.
  
 
== Формула оценок ==
 
== Формула оценок ==

Текущая версия на 12:32, 24 мая 2023

О курсе

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

Расписание

Занятия проводятся оффлайн по вторникам.

Лекция: 11:10 - 12:30

Семинары: 13:00 - 14:20

Полезные ссылки

Чат курса в telegram: https://t.me/+D4_1rqQttEwwODhi

Канал с объявлениями в telegram: https://t.me/+ADIqh4XT1qNkMDEy

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rg9Cf9Tsfeuesv5H6XDdeY.

github курса: https://github.com/ashaba1in/hse-ssl

Anytask: https://anytask.org/course/1001, инвайт: K3cHMRT

Преподаватели и ассистенты

Преподаватели Ассистенты
Ильдус Садртдинов Алексей Биршерт
Александр Шабалин

Домашние задания

Домашнее задание №1: Задание посвящено реализации классических методов предобучения.

Ссылка на условие, ссылка на соревнование в kaggle.

Домашнее задание №2: Задание посвящено контрастным методам для изображений.

Ссылка на ноутбук с заданием.

Домашнее задание №3: Задание посвящено предобучению языковых моделей.

Ссылка на ноутбук с заданием.

Формула оценок

Определим накопленную оценку как Накоп = 1/4 * [ДЗ1 + ДЗ2 + ДЗ3 + (МДЗ1 + МДЗ2) / 2].

Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

  • ДЗ — оценка за домашнее задание
  • МДЗ — оценка за мини домашнее задание
  • Э — оценка за экзамен

Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: устный.