Компьютерное зрение 24/25 (МОВС23)
Содержание
О курсе
Занятия проводятся в Zoom по вторникам в 18:10
Контакты
Преподаватель: Башаров И.В. @ilbash и Козлов К. @dedpe
| Ассистент | Контакты |
|---|---|
| Марк Блуменау (ПМИ) | @markblumenau |
| Илья Никитин | @is_nikitin |
| Кирилл Козлов | @dedpe |
Курс вели:
| Тема | Лекция | Семинар |
|---|---|---|
| Работа с изображениями. Классические методы обработки | Илья Башаров | Илья Башаров |
| Классификация: лучшие практики | Снежана Дудкина | Снежана Дудкина |
| Детекция (одностадийная) | Александр Неварко | Кирилл Козлов |
| Сегментация | Александр Неварко | Кирилл Козлов |
| RelD + Tracking | Илья Башаров и Снежана Дудкина | Илья Башаров |
| Генеративные модели | Андрей Филатов | Кирилл Козлов |
| SSL & Foundation Models | Андрей Филатов | |
| Методы ускорения нейросетевых моделей | Павел Колганов | Арина Гертель |
Материалы курса
| Занятие | Тема | Дата | Презентации/ноутбуки | Материалы |
|---|---|---|---|---|
| 1 Записи ВК Записи YT | Работа с изображениями. Классические методы обработки | 14.01.2025 | Лекция Семинар | OpenCV Docs |
| 2 Записи ВК Записи YT | Классификация: лучшие практики | 21.01.2025 | Лекция Семинар | CS231n, Training recipe |
| 3 Записи ВК Записи YT | Детекция (одностадийная) | 28.01.2025 | Лекция Семинар | YOLO history |
| 4 Записи ВК Записи YT | Сегментация | 04.02.2025 | Лекция Семинар | Функции потерь |
| 5 Записи ВК Записи YT | ReID + Tracking | 11.02.2025 | Лекция Семинар | Awesome tracking |
| 6 Записи ВК Записи YT | Генеративные модели | 18.02.2025 | Лекция Семинар | Diffusion: overview |
| 7 Записи ВК Записи YT | SSL & Foundation Models | 25.02.2025 | Лекция | |
| 8 Записи ВК Записи YT | Методы ускорения нейросетевых моделей | 04.03.2025 | Лекция Семинар | TorchPruning |
Формула оценивания
Оценка = 0.9*MAX(SUM / N, 10) + 0.1*EXAM, где N - количество домашних заданий (без учета бонусных), SUM - сумма баллов за все задания (с учетом бонусных), EXAM - оценка на экзамене.
Домашние задания
Домашнее задание 1 - Дедлайн 04.02 мягкий, 11.02 жесткий.
Домашнее задание 2 - Дедлайн 11.02 23:59 мягкий, 18.02 23:59 жесткий.
Домашнее задание 3 - Дедлайн 19.02 23:59 мягкий, 26.02 23:59 жесткий.
Опциональное домашнее задание - Дедлайн 26.02 23:59 мягкий, 05.03 23:59 жесткий.
Домашнее задание 4 - Дедлайн 11.03 23:59 мягкий, 18.03 23:59 жесткий.
Инвайт в AnyTask: OsoaRj4
Дополнительное ДЗ
Может дать дополнительно до 2х баллов (включительно) за решение для тех, кто не добирает баллы (после проверок всех дз 3 балла и ниже, либо не уверен, сколько у него баллов будет.) Также это задание для тех, кто не хочет идти на экзамен. Напомню, идти на экзамен - опционально, дает до 1 балла. Ранжирование баллов будет следущим: 1) Выбитый скор [0.51; 0.7) - +1 балл (для тех, у кого 3 балла и ниже) 2) Выбитый скор выше [0.70; 1) - +2 балла (для тех, у кого 3 балла и ниже) или засчитывается вместо экзамена - +1 балл (для тех, у кого 4 балла и выше)
Бейзлайн по ссылке, kaggle соревнование по ссылке. Дедлайн до 26.03.25 23:59. Username следует указывать в формате <ФИО>_МОВС_25 на русском языке.
Рекомендации к решению: 1) стоит поработать в первую очередь данными, а не гнаться за тяжелыми моделями. В данных может быть неверная разметка, картинки плохого качества, маленькие объекты и тд. Смотрите на распределения.
2) Батч имеет значение - следите за стабильностью обучения. Если есть сильные колебания в качестве, скорее всего, поможет увеличение батча. В зависимости от динамики обучения можете подобрать необходимое кол-во эпох. Помните, одностадийные методы тренируются чуть дольше.
3) Аугментации дают основной буст в качестве. Пользуйтесь библиотекой albumentations и добавляйте их в пайплайн обучения (сразу в код).
4) Визуализируйте ошибки модели - можно добавить эти семплы повторно в трейн.
5) Если качество модели на вашей валидации сильно отличается от kaggle - вы неверно формируете валидацию. Подумайте, как можно было бы сформировать валидационную выборку.
6) Тюнингом lr, optimizer и проч занимайтесь только в самый последний момент. Также у ultralytics есть tuner.
7) Можно найти похожие данные в интернете и дополнить выборку.
8) Следите за дисбалансом классов в выборке. Вспомните про стратегии борьбы, которые мы обсуждали в семинарах - семлинг, взвешивание.
Сдавать в AnyTask по инвайту выше.
Литература
- Richard Szeliski, "Computer Vision: Algorithms and Applications, 2nd ed.", The University of Washington
