Большие языковые модели 25 26 — различия между версиями

Версия 12:33, 23 ноября 2025

О курсе

Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.

Проводится экспертами из VK.

Полезные ссылки

• Чат в Telegram для обсуждений: https://t.me/+5jXjmCx6Bb1mZjli
• AnyTask (инвайт uW8JjWE)
• Оценки
• Видеозаписи лекций

Организационное

В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия. Летучка - это 5 вопросов на 10 минут по мотивам лекций.

Иногда мы будем проводить практические занятия, это могут быть

• Вспомогательные лекции, например, вспомнить PyTorch
• Дополнительный полезный материал, например, как масштабировать модели на кластерах
• Семинары или reading club - возможность выступить с разбором статьи на полезную тему
• QA сессии и философские разговоры - по необходимости

В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц. После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.

Выставление оценок

Активности за баллы:

• Домашняя работа - каждая оценивается от 0 до 10 баллов
• Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
• Выступление на семинаре - 10 баллов

Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)

Лекции

1. Введение в языковое моделирование

2. Архитектура трансформера, GPT, Bert

3. Modern Transformers

4. Post-training & alignment

5. Benchmarks

Семинары

1. Learning PyTorch

2. Dealing with LARGE models

Домашние работы

1. BPE & Transformers

Мягкий дедлайн: 27.10.25

Жесткий дедлайн: 10.11.25

2. DPO & PPO

Мягкий дедлайн: 15.11.25

Жесткий дедлайн: 29.11.25

3. PEFT

Мягкий дедлайн: 08.12.25

Жесткий дедлайн: 22.12.25