Большие Языковые Модели 2025

О курсе

Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.

Проводится экспертами из VK, с вопросами можно приходить к boss @ VK.

Полезные ссылки

• Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi
• AnyTask: https://anytask.org/course/1164, инвайт: g6Xinxx
• TODO: таблица с оценками
• Видеозаписи лекций

Организационное

В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия. Летучка - это 5 вопросов на 10 минут по мотивам лекций.

Иногда мы будем проводить практические занятия, это могут быть

• Вспомогательные лекции, например, вспомнить PyTorch
• Дополнительный полезный материал, например, как масштабировать модели на кластерах
• Семинары или reading club - возможность выступить с разбором статьи на полезную тему
• QA сессии и философские разговоры - по необходимости

В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц. После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.

Выставление оценок

Активности за баллы:

• Домашняя работа - каждая оценивается от 0 до 10 баллов
• Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
• Выступление на семинаре - 10 баллов

Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)

Лекции

1. Введение в Языковое Моделирование

2. Архитектура Трансформера

3. Transformers and beyond

4. Alignment

5. Benchmarks

6. Effective LLM

7. LLM Agents

8. RAG (TODO)

9. LLM in Nature

Семинары

1. Learning Torch

Практика совсем простая и чуть посложнее.

2. Dealing with LARGE Models

3. Efficiency in practice

Домашние работы

1. BPE & Transformers

Мягкий дедлайн: 18.02.25

Жесткий дедлайн: 04.03.25

1. DPO & PPO

Мягкий дедлайн: 09.03.25

Жесткий дедлайн: 23.03.25