Основы глубинного обучения/2023 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показаны 22 промежуточные версии 2 участников)
Строка 21: Строка 21:
 
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): [https://t.me/+DskJpRFWM1thNGVi мега чат]
 
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): [https://t.me/+DskJpRFWM1thNGVi мега чат]
  
−
Таблица с оценками:  
+
Таблица с оценками: [https://docs.google.com/spreadsheets/d/1vxGbeTA9J7PTh960FBNWLzVCipi1fgx_9VLgq9Qzh_Q/edit?usp=sharing таблица]
  
 
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
 
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
Строка 30: Строка 30:
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
 
|-
 
|-
−
| ИАД-1 || [https://t.me/arorlov Артем Червяков] || [https://t.me/nick_nerr Никита Захаров] || [https://us06web.zoom.us/j/87537100663?pwd=gTW5oAmbrYcb9fPZv8DAoD4h63qaX3.1 Zoom] || [https://t.me/+nWgBSZfN58Y4NWIy Чат] || ...
+
| ИАД-1 || [https://t.me/arorlov Артем Червяков] || [https://t.me/nick_nerr Никита Захаров] || [https://us06web.zoom.us/j/87537100663?pwd=gTW5oAmbrYcb9fPZv8DAoD4h63qaX3.1 Zoom] || [https://t.me/+nWgBSZfN58Y4NWIy Чат] || m6X54QR
 
|-
 
|-
−
| ИАД-2 || [https://t.me/airogachev Александр Рогачев] || [https://t.me/ongalek Иван Смоленчук], [https://t.me/AlZayts Александр Зайцев] || [https://us06web.zoom.us/j/86978076843?pwd=Z3lTeWJuWUw0L0hudkhvL3o5Y0dxZz09 Zoom] || [https://t.me/+MzDukKffF09jZWJi Чат] || ...
+
| ИАД-2 || [https://t.me/airogachev Александр Рогачев] || [https://t.me/ongalek Иван Смоленчук], [https://t.me/AlZayts Александр Зайцев] || [https://us06web.zoom.us/j/86978076843?pwd=Z3lTeWJuWUw0L0hudkhvL3o5Y0dxZz09 Zoom] || [https://t.me/+MzDukKffF09jZWJi Чат] || fsoUsuL
 
|-
 
|-
−
| ИАД-3 || [https://t.me/bredikhin_alexander Александр Бредихин] || [https://t.me/dobroye_ytro Ксения Шерман], [https://t.me/myatnayapechenka Анастасия Зайцева] || [https://us06web.zoom.us/j/87922900415?pwd=WmBJIlfS9Lfj5vJUkEadEClOQbQe7q.1 Zoom] || [https://t.me/+1Crj8C887cw1M2Vi Чат] || ...
+
| ИАД-3 || [https://t.me/bredikhin_alexander Александр Бредихин] || [https://t.me/dobroye_ytro Ксения Шерман], [https://t.me/myatnayapechenka Анастасия Зайцева] || [https://us06web.zoom.us/j/87922900415?pwd=WmBJIlfS9Lfj5vJUkEadEClOQbQe7q.1 Zoom] || [https://t.me/+1Crj8C887cw1M2Vi Чат] || vEhsElQ
 
|-
 
|-
−
| ИАД-4 || [https://t.me/markblumenau Марк Блуменау] || [https://t.me/nogaromo Егор Горяной], [https://t.me/poemgranate Марина Казюлина] || [https://us06web.zoom.us/j/83689662369?pwd=MENkMm16M2psREFGdFYwaHp2R281dz09 Zoom] || [https://t.me/+AYZjugDwnbtmNzhi Чат] || ...
+
| ИАД-4 || [https://t.me/markblumenau Марк Блуменау] || [https://t.me/nogaromo Егор Горяной], [https://t.me/poemgranate Марина Казюлина] || [https://us06web.zoom.us/j/83689662369?pwd=MENkMm16M2psREFGdFYwaHp2R281dz09 Zoom] || [https://t.me/+AYZjugDwnbtmNzhi Чат] || 1vVkjjo
 
|-
 
|-
−
| ИАД-5 || [https://t.me/margo_lazareva Маргарита Лазарева] || [https://t.me/ksu_marshmallow Ксения Малкова], [https://t.me/elizzz13 Елизавета Бичурина] || [https://us06web.zoom.us/j/86719185268?pwd=NWh3QnBvMXo4R0NHRTlMbG5KOVhQZz09 Zoom] || [https://t.me/+wwLEs60BAvUzZjdi Чат] || ...
+
| ИАД-5 || [https://t.me/margo_lazareva Маргарита Лазарева] || [https://t.me/ksu_marshmallow Ксения Малкова], [https://t.me/elizzz13 Елизавета Бичурина] || [https://us06web.zoom.us/j/86719185268?pwd=NWh3QnBvMXo4R0NHRTlMbG5KOVhQZz09 Zoom] || [https://t.me/+wwLEs60BAvUzZjdi Чат] || szcYr5g
 
|-
 
|-
−
| ИАД-6 || [https://t.me/caesiummm Михаил Никифоров] || [https://t.me/ongalek Иван Смоленчук], [https://t.me/kemmeritocracy Анастасия Кеммер] || [https://us06web.zoom.us/j/86035230751?pwd=UGRDeFQ1YWNucXFKemFyRmxtbTZTUT09 Zoom] || [https://t.me/+c4qD2t7tkH1lODEy Чат] || ...
+
| ИАД-6 || [https://t.me/caesiummm Михаил Никифоров] || [https://t.me/ongalek Иван Смоленчук], [https://t.me/kemmeritocracy Анастасия Кеммер] || [https://us06web.zoom.us/j/86035230751?pwd=UGRDeFQ1YWNucXFKemFyRmxtbTZTUT09 Zoom] || [https://t.me/+c4qD2t7tkH1lODEy Чат] || 9yptdQe
 
|-
 
|-
−
| ИАД-7 || [https://t.me/andreynar https://t.me/andreynar] || [https://t.me/roman_khamrin Роман Храмин], [https://t.me/myatnayapechenka Анастасия Зайцева] || [https://us06web.zoom.us/j/87994177360?pwd=NXBiNEZZUWZUSlFqbDVqTkhWK2ZSUT09 Zoom] || [https://t.me/+08dG863DcYczMmJi Чат] || ...
+
| ИАД-7 || [https://t.me/andreynar https://t.me/andreynar] || [https://t.me/roman_khamrin Роман Храмин], [https://t.me/myatnayapechenka Анастасия Зайцева] || [https://us06web.zoom.us/j/82131851091?pwd=GToAj3pE3dpgekwIj7X7184KqdvJgK.1 Zoom] || [https://t.me/+08dG863DcYczMmJi Чат] || HUAOW6q
 
|-
 
|-
−
| ИАД-8 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/Mega_Serega Вячеслав Овчинников], [https://t.me/dedpe Кирилл Козлов] || [https://us06web.zoom.us/j/82838931961?pwd=bElvVU40bTVsMTRZVWcvRG1WREtoQT09 Zoom] || [https://t.me/+lZDFzaff3-FmZTQ6 Чат] || ...
+
| ИАД-8 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/Mega_Serega Вячеслав Овчинников], [https://t.me/dedpe Кирилл Козлов] || [https://us06web.zoom.us/j/82838931961?pwd=bElvVU40bTVsMTRZVWcvRG1WREtoQT09 Zoom] || [https://t.me/+lZDFzaff3-FmZTQ6 Чат] || 5Y38wV9
 
|-
 
|-
−
| ИАД-9 || [https://t.me/cherepasska Михаил Баранов] || [https://t.me/ksu_marshmallow Ксения Малкова], [https://t.me/elizzz13 Елизавета Бичурина] || [https://us06web.zoom.us/j/86463674830?pwd=REVXcldGVm03UldTdXMvTmhNNExkQT09 Zoom] || [https://t.me/+szF0qcXO5pwyMTNi Чат] || ...
+
| ИАД-9 || [https://t.me/cherepasska Михаил Баранов] || [https://t.me/ksu_marshmallow Ксения Малкова], [https://t.me/elizzz13 Елизавета Бичурина] || [https://us06web.zoom.us/j/86463674830?pwd=REVXcldGVm03UldTdXMvTmhNNExkQT09 Zoom] || [https://t.me/+szF0qcXO5pwyMTNi Чат] || eiVK6wF
 
|-  
 
|-  
−
| ИАД-10 || [https://t.me/Ppilif Филипп Ульянкин] || [https://t.me/NikitaGorevoy Никита Горевой], [https://t.me/AlZayts Александр Зайцев] || [https://yandex.zoom.us/j/95957300981 Zoom] || [https://t.me/+zS9p_GDGzNFkYTZi Чат] || ...
+
| ИАД-10 || [https://t.me/Ppilif Филипп Ульянкин] || [https://t.me/NikitaGorevoy Никита Горевой], [https://t.me/AlZayts Александр Зайцев] || [https://yandex.zoom.us/j/95957300981 Zoom] || [https://t.me/+zS9p_GDGzNFkYTZi Чат] || VO7eBux
 
|}
 
|}
  
Строка 88: Строка 88:
  
 
'''Лекция 2''' (21.09.2023). Обратное распространение ошибки. Сверточные сети. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/rt6Y9mj6et8?si=wpsBC29CVaIrVvNl Запись лекции]]
 
'''Лекция 2''' (21.09.2023). Обратное распространение ошибки. Сверточные сети. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/rt6Y9mj6et8?si=wpsBC29CVaIrVvNl Запись лекции]]
 +
 +
'''Лекция 3''' (28.09.2023). Свёртки и свёрточные сети. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture03-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=Vcz8C8Q-1og  Запись лекции]]
 +
 +
'''Лекция 4''' (05.10.2023). Оптимизация в глубинном обучении. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/l64MRpaF_GU?si=9CutD9Pa27xZjllG Запись лекции]]
 +
 +
'''Лекция 5''' (12.10.2023). Оптимизация в глубинном обучении, свёрточные архитектуры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture05-optimization-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=XKX3Sqrcwmk Запись лекции]]
 +
 +
'''Лекция 6''' (19.10.2023). Оптимизация в глубинном обучении. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture06-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=zBYEWYjdvf4 Запись лекции]]
 +
 +
'''Лекция 7''' (02.11.2023). Задачи компьютерного зрения. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture06-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=zp46qMEEo6Y Запись лекции]]
 +
 +
'''Лекция 8''' (09.11.2023). Векторные представления слов. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture08-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=w-qTENVAsbw Запись лекции]]
 +
 +
'''Лекция 9''' (16.11.2023). Рекуррентные модели. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture09-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=X02HDtOlx_E Запись лекции]]
 +
 +
'''Лекция 10''' (30.11.2023). seq2seq модели и механизм внимания. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture10-transformers.pdf Слайды]] [[https://www.youtube.com/watch?v=Al_r14hsxXo Запись лекции]]
 +
 +
'''Лекция 11''' (30.11.2023). Предобученные трансформеры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/lectures/lecture11-transformers.pdf Слайды]] [[https://www.youtube.com/watch?v=Kbrwyww-W-U Запись лекции]]
  
 
== Семинары ==
 
== Семинары ==
Строка 95: Строка 113:
  
 
'''Семинар 2''' (28.09.2023). Свёртка изображений. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/02.%20Image%20Convolution./02_Image_Convolution_task.ipynb Тетрадка]]
 
'''Семинар 2''' (28.09.2023). Свёртка изображений. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/02.%20Image%20Convolution./02_Image_Convolution_task.ipynb Тетрадка]]
 +
 +
'''Семинар 3''' (05.10.2023). Классификация изображений. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/03.%20Image%20Classification/03_Image_Classification.ipynb Тетрадка]]
 +
 +
'''Семинар 4''' (12.10.2023). Методы оптимизации, PyTorch Lightning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/04.%20Optim%20%26%20Lightning/04_Optim%26Lightning.ipynb Тетрадка]]
 +
 +
'''Семинар 5''' (19.10.2023). Transfer Learning, Adversarial Attacks, Deep Network Visualization. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/05.%20Transfer%20Learning%20%26%20Network%20Visualization/05_Transfer_Learning%2C_Adversarial_Attacks_%26_Deep_Network_Visualization.ipynb Тетрадка]]
 +
 +
'''Семинар 6''' (02.11.2023). Семантическая сегментация, детекция. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/06.%20Segmentation%20%26%20Detection/06_Segmentation_%26_Detection_solved.ipynb Тетрадка]]
 +
 +
'''Семинар 7''' (09.11.2023). Few/Zero Shot Learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/07.%20Few%20%26%20Zero%20Shot%20Learning/07_Few_Zero_Shot_Learning.ipynb Тетрадка]]
 +
 +
'''Семинар 8''' (16.11.2023). Word2Vec. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/08.%20Word2Vec/08_Word2Vec.ipynb Тетрадка]]
 +
 +
'''Семинар 9''' (23.11.2023). Character-Level LSTM. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/09.%20LSTM/09_Character_Level_LSTM.ipynb Тетрадка]]
 +
 +
'''Семинар 10''' (30.11.2023). Transformers. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/seminars/10.%20Transformers/10_Transformers.ipynb Тетрадка]]
  
 
== Записи консультаций ==
 
== Записи консультаций ==
 +
 +
'''Консультация перед контрольной №1''' (07.12.2023). [[https://youtu.be/2c_tMPgXo8E?si=_DGQt26xYO2Am9VC Запись консультации ИАД-1]]
 +
 +
'''Консультация перед контрольной №1''' (07.12.2023). [[https://youtu.be/wrYeiYuN8Ls?si=g7Nzpi2pe2lXEUru Запись консультации ИАД-3]]
 +
 +
'''Консультация перед контрольной №1''' (07.12.2023). [[https://youtu.be/6aM7elRLx9w?si=73qXx0gvWLDEOUWI Запись консультации ИАД-4]]
 +
 +
'''Консультация перед контрольной №1''' (07.12.2023). [[https://youtu.be/ZSMmXu1PT4w?si=reMvrGyJCs5oZicC Запись консультации ИАД-6]]
 +
 +
'''Консультация перед контрольной №1''' (07.12.2023). [[https://youtu.be/IYDE3LAQgC8?si=uQZPZrtZJtTaN05r Запись консультации ИАД-7]]
  
 
== Практические задания ==
 
== Практические задания ==
  
−
Домашние задания выкладываются в [ репозиторий курса].
+
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning/tree/master/2023/homeworks репозиторий курса].
 +
 
 +
''' Домашнее задание 1.''' Введение в PyTorch. Полносвязные нейронные сети.
 +
 
 +
Дата выдачи: 01.10.2023
 +
 
 +
Мягкий дедлайн: 23:59 MSK 15.10.2023
 +
 
 +
Жесткий дедлайн: 23:59 MSK 20.10.2023
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/homeworks/hw1/homework_01.ipynb Ноутбук с заданием]]
 +
 
 +
 
 +
''' Домашнее задание 2.''' Классификация изображений.
 +
 
 +
Дата выдачи: 23.10.2023
 +
 
 +
Мягкий дедлайн: 23:59 MSK 12.11.2023
 +
 
 +
Жесткий дедлайн: 23:59 MSK 17.11.2023
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/homeworks/hw2/hw_2.ipynb Ноутбук с заданием]]
 +
 
 +
 
 +
''' Домашнее задание 3.''' Детекция объектов.
 +
 
 +
Дата выдачи: 25.11.2023
 +
 
 +
Мягкий дедлайн: 23:59 MSK 05.12.2023
 +
 
 +
Жесткий дедлайн: 23:59 MSK 11.12.2023
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/homeworks/hw3/hw3_iad.ipynb Ноутбук с заданием]]
 +
 
 +
 
 +
''' Домашнее задание 4.''' Texts.
 +
 
 +
Дата выдачи: 09.12.2023
 +
 
 +
Дедлайн: 23:59 MSK 18.12.2023
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/homeworks/hw4_texts.ipynb Ноутбук с заданием]]
  
 
== Контрольная работа ==
 
== Контрольная работа ==
 +
 +
Контрольная работа состоится 14 декабря во время лекции (13:00 - 14:20).
 +
 +
[https://docs.google.com/document/d/1S-VlgPltz3Vkw_GAVQsgQKi2FScUxX-wGQSH4a0jOcQ/edit Вопросы для подготовки]
 +
 +
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var0.pdf Нулевой вариант 1]
 +
 +
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var02.pdf Нулевой вариант 2]
 +
 +
В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.
  
 
== Экзамен ==
 
== Экзамен ==

Текущая версия на 17:51, 11 мая 2024

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами

Домашние задание сдаются в Anytask

Канал в telegram для объявлений: мега канал

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): мега чат

Таблица с оценками: таблица

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Артем Червяков Никита Захаров Zoom Чат m6X54QR
ИАД-2 Александр Рогачев Иван Смоленчук, Александр Зайцев Zoom Чат fsoUsuL
ИАД-3 Александр Бредихин Ксения Шерман, Анастасия Зайцева Zoom Чат vEhsElQ
ИАД-4 Марк Блуменау Егор Горяной, Марина Казюлина Zoom Чат 1vVkjjo
ИАД-5 Маргарита Лазарева Ксения Малкова, Елизавета Бичурина Zoom Чат szcYr5g
ИАД-6 Михаил Никифоров Иван Смоленчук, Анастасия Кеммер Zoom Чат 9yptdQe
ИАД-7 https://t.me/andreynar Роман Храмин, Анастасия Зайцева Zoom Чат HUAOW6q
ИАД-8 Михаил Гущин Вячеслав Овчинников, Кирилл Козлов Zoom Чат 5Y38wV9
ИАД-9 Михаил Баранов Ксения Малкова, Елизавета Бичурина Zoom Чат eiVK6wF
ИАД-10 Филипп Ульянкин Никита Горевой, Александр Зайцев Zoom Чат VO7eBux

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (14.09.2023). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (21.09.2023). Обратное распространение ошибки. Сверточные сети. [Слайды] [Запись лекции]

Лекция 3 (28.09.2023). Свёртки и свёрточные сети. [Слайды] [Запись лекции]

Лекция 4 (05.10.2023). Оптимизация в глубинном обучении. [Слайды] [Запись лекции]

Лекция 5 (12.10.2023). Оптимизация в глубинном обучении, свёрточные архитектуры. [Слайды] [Запись лекции]

Лекция 6 (19.10.2023). Оптимизация в глубинном обучении. [Слайды] [Запись лекции]

Лекция 7 (02.11.2023). Задачи компьютерного зрения. [Слайды] [Запись лекции]

Лекция 8 (09.11.2023). Векторные представления слов. [Слайды] [Запись лекции]

Лекция 9 (16.11.2023). Рекуррентные модели. [Слайды] [Запись лекции]

Лекция 10 (30.11.2023). seq2seq модели и механизм внимания. [Слайды] [Запись лекции]

Лекция 11 (30.11.2023). Предобученные трансформеры. [Слайды] [Запись лекции]

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (21.09.2023). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (28.09.2023). Свёртка изображений. [Тетрадка]

Семинар 3 (05.10.2023). Классификация изображений. [Тетрадка]

Семинар 4 (12.10.2023). Методы оптимизации, PyTorch Lightning. [Тетрадка]

Семинар 5 (19.10.2023). Transfer Learning, Adversarial Attacks, Deep Network Visualization. [Тетрадка]

Семинар 6 (02.11.2023). Семантическая сегментация, детекция. [Тетрадка]

Семинар 7 (09.11.2023). Few/Zero Shot Learning. [Тетрадка]

Семинар 8 (16.11.2023). Word2Vec. [Тетрадка]

Семинар 9 (23.11.2023). Character-Level LSTM. [Тетрадка]

Семинар 10 (30.11.2023). Transformers. [Тетрадка]

Записи консультаций

Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-1]

Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-3]

Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-4]

Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-6]

Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-7]

Практические задания

Домашние задания выкладываются в репозиторий курса.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 01.10.2023

Мягкий дедлайн: 23:59 MSK 15.10.2023

Жесткий дедлайн: 23:59 MSK 20.10.2023

[Ноутбук с заданием]


Домашнее задание 2. Классификация изображений.

Дата выдачи: 23.10.2023

Мягкий дедлайн: 23:59 MSK 12.11.2023

Жесткий дедлайн: 23:59 MSK 17.11.2023

[Ноутбук с заданием]


Домашнее задание 3. Детекция объектов.

Дата выдачи: 25.11.2023

Мягкий дедлайн: 23:59 MSK 05.12.2023

Жесткий дедлайн: 23:59 MSK 11.12.2023

[Ноутбук с заданием]


Домашнее задание 4. Texts.

Дата выдачи: 09.12.2023

Дедлайн: 23:59 MSK 18.12.2023

[Ноутбук с заданием]

Контрольная работа

Контрольная работа состоится 14 декабря во время лекции (13:00 - 14:20).

Вопросы для подготовки

Нулевой вариант 1

Нулевой вариант 2

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

Страницы предыдущих лет

22/23 учебный год

21/22 учебный год

20/21 учебный год

Источник — «http://wiki.cs.hse.ru/index.php?title=Основы_глубинного_обучения/2023&oldid=84979»