Большие Языковые Модели 2025 — различия между версиями

Версия 21:00, 24 февраля 2025

О курсе

Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.

Проводится экспертами из VK, с вопросами можно приходить к boss @ VK.

Полезные ссылки

• Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi
• AnyTask: https://anytask.org/course/1164, инвайт: g6Xinxx
• TODO: таблица с оценками
• Видеозаписи лекций

Организационное

В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия. Летучка - это 5 вопросов на 10 минут по мотивам лекций.

Иногда мы будем проводить практические занятия, это могут быть

• Вспомогательные лекции, например, вспомнить PyTorch
• Дополнительный полезный материал, например, как масштабировать модели на кластерах
• Семинары или reading club - возможность выступить с разбором статьи на полезную тему
• QA сессии и философские разговоры - по необходимости

В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц. После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.

Выставление оценок

Активности за баллы:

• Домашняя работа - каждая оценивается от 0 до 10 баллов
• Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
• Выступление на семинаре - 10 баллов

Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)

Лекции

1. Введение в Языковое Моделирование

2. Архитектура Трансформера

3. Transformers and beyond

4. Alignment

5. Benchmarks

Семинары

1. Learning Torch

Практика совсем простая и чуть посложнее.

2. Dealing with LARGE Models

Домашние работы

1. BPE & Transformers

Мягкий дедлайн: 18.02.25

Жесткий дедлайн: 04.03.25

1. DPO & PPO

Мягкий дедлайн: 09.03.25

Жесткий дедлайн: 23.03.25