Большие Языковые Модели 2025 — различия между версиями
Ekononova (обсуждение | вклад) (Поправили систему оценивания) |
Ekononova (обсуждение | вклад) (Новый материал) |
||
| Строка 10: | Строка 10: | ||
* AnyTask для сдачи домашних работ: https://anytask.org/course/1164 | * AnyTask для сдачи домашних работ: https://anytask.org/course/1164 | ||
* TODO: таблица с оценками | * TODO: таблица с оценками | ||
| − | * | + | * [https://disk.yandex.ru/d/phkqmuuTDcXwAg Видеозаписи лекций] |
=== Организационное === | === Организационное === | ||
| Строка 38: | Строка 38: | ||
1. [https://drive.google.com/file/d/1E-Hyjxzfui6P4hMg7bgYVBbrTfQUKKGQ/view?usp=sharing Введение в Языковое Моделирование] | 1. [https://drive.google.com/file/d/1E-Hyjxzfui6P4hMg7bgYVBbrTfQUKKGQ/view?usp=sharing Введение в Языковое Моделирование] | ||
| + | 2. [https://drive.google.com/file/d/1lAYKmeaTwiNg10ujYdq6OxzUZrrqKwdY/view?usp=sharing Архитектура Трансформера] | ||
== Семинары == | == Семинары == | ||
| Строка 44: | Строка 45: | ||
Практика [https://drive.google.com/drive/folders/1WL_yptqP6yROLgutMu5YnqaHoBf0GZ90?usp=sharing совсем простая] и [https://drive.google.com/drive/folders/1wFIFwlY56qPQbzTHry68WxHhXALTSKwg?usp=sharing чуть посложнее]. | Практика [https://drive.google.com/drive/folders/1WL_yptqP6yROLgutMu5YnqaHoBf0GZ90?usp=sharing совсем простая] и [https://drive.google.com/drive/folders/1wFIFwlY56qPQbzTHry68WxHhXALTSKwg?usp=sharing чуть посложнее]. | ||
| + | |||
| + | 2. [https://drive.google.com/file/d/1LYVTg8-ak-vsG6xwh7lHnAxqFc3w6iEk/view?usp=sharing Dealing with LARGE Models] | ||
Версия 16:00, 28 января 2025
О курсе
Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.
Проводится экспертами из VK, с вопросами можно приходить к boss @ VK.
Полезные ссылки
- Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi
- AnyTask для сдачи домашних работ: https://anytask.org/course/1164
- TODO: таблица с оценками
- Видеозаписи лекций
Организационное
В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия. Летучка - это 5 вопросов на 10 минут по мотивам лекций.
Иногда мы будем проводить практические занятия, это могут быть
- Вспомогательные лекции, например, вспомнить PyTorch
- Дополнительный полезный материал, например, как масштабировать модели на кластерах
- Семинары или reading club - возможность выступить с разбором статьи на полезную тему
- QA сессии и философские разговоры - по необходимости
В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц. После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.
Выставление оценок
Активности за баллы:
- Домашняя работа - каждая оценивается от 0 до 10 баллов
- Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
- Выступление на семинаре - 10 баллов
Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)
Лекции
1. Введение в Языковое Моделирование 2. Архитектура Трансформера
Семинары
Практика совсем простая и чуть посложнее.
