Просмотр исходного текста страницы Большие языковые модели 25 26

== О курсе ==

Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.

Проводится экспертами из VK.

=== Полезные ссылки ===

* Чат в Telegram для обсуждений: https://t.me/+5jXjmCx6Bb1mZjli
* [https://anytask.org/course/1222 AnyTask] (инвайт uW8JjWE)
* [https://docs.google.com/spreadsheets/d/1YV2VTaJ0IdYcyodSSRgubqRNK_DKmwAIp96AQpZ8XcU/edit?usp=sharing Оценки]
* [https://disk.yandex.ru/d/b0_3gsFRgXIpBw Видеозаписи лекций]

=== Организационное ===

В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия.
Летучка - это 5 вопросов на 10 минут по мотивам лекций.

Иногда мы будем проводить практические занятия, это могут быть
* Вспомогательные лекции, например, вспомнить PyTorch
* Дополнительный полезный материал, например, как масштабировать модели на кластерах
* Семинары или reading club - возможность выступить с разбором статьи на полезную тему
* QA сессии и философские разговоры - по необходимости

В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц.
После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.

'''Выставление оценок'''

Активности за баллы:
* Домашняя работа - каждая оценивается от 0 до 10 баллов
* Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
* Выступление на семинаре - 10 баллов

Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)

== Лекции ==

1. [https://cloud.mail.ru/public/Szou/fsZ1nYgaz Введение в языковое моделирование]

2. [https://cloud.mail.ru/public/N1tk/bSfbMezvb Архитектура трансформера, GPT, Bert]

3. [https://cloud.mail.ru/public/LZND/iszXeTDbe Modern Transformers]

4. [https://cloud.mail.ru/public/2z7N/1oP8H1w8Y Post-training & alignment]

5. [https://cloud.mail.ru/public/uFjM/w9Y7gDbAT Benchmarks]

== Семинары ==

1. [https://cloud.mail.ru/public/HkCG/rsLWFEpE9 Learning PyTorch]

2. [https://cloud.mail.ru/public/bAKd/mPHPdPjuD Dealing with LARGE models]

== Домашние работы ==

1. [https://colab.research.google.com/drive/1edxn4NTyXKrqXMED0tZRe20nh_GTEpWE?usp=sharing BPE & Transformers]

Мягкий дедлайн: 27.10.25

Жесткий дедлайн: 10.11.25

2. [https://colab.research.google.com/drive/1hy3fJxibAWZ_iFbPpgSdpxM3WOvI11vx?usp=sharing DPO & PPO]

Мягкий дедлайн: 15.11.25

Жесткий дедлайн: 29.11.25

3. [https://colab.research.google.com/drive/1GyD65UKeraZ9YGQfMpzAJgaemi5FPDAO?usp=sharing PEFT]

Мягкий дедлайн: 08.12.25

Жесткий дедлайн: 22.12.25