Большие Языковые Модели 2025 — различия между версиями
Ekononova (обсуждение | вклад) (→Лекции) |
Ekononova (обсуждение | вклад) (→Лекции) |
||
| (не показано 5 промежуточных версии этого же участника) | |||
| Строка 9: | Строка 9: | ||
* Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi | * Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi | ||
* AnyTask: https://anytask.org/course/1164, инвайт: g6Xinxx | * AnyTask: https://anytask.org/course/1164, инвайт: g6Xinxx | ||
| − | * | + | * [https://docs.google.com/spreadsheets/d/1NndEqrR6GKwN54RyvXHNH0hl265pBPfdN7UfY1aojiU/edit Оценки] |
* [https://disk.yandex.ru/d/phkqmuuTDcXwAg Видеозаписи лекций] | * [https://disk.yandex.ru/d/phkqmuuTDcXwAg Видеозаписи лекций] | ||
| Строка 48: | Строка 48: | ||
6. [https://drive.google.com/file/d/1buFq8xBd3tt41kwFAFVy9E6-TbcOt7b8/view?usp=sharing Effective LLM] | 6. [https://drive.google.com/file/d/1buFq8xBd3tt41kwFAFVy9E6-TbcOt7b8/view?usp=sharing Effective LLM] | ||
| + | |||
| + | 7. [https://drive.google.com/file/d/103pA-HdprKj2mNBbNElffMCTSd0tpfWI/view?usp=sharing LLM Agents] | ||
| + | |||
| + | 8. [https://drive.google.com/file/d/1XtpigmJGbBRDIkc4rtmS1PkauJvHkYCH/view?usp=sharing RAG] | ||
| + | |||
| + | 9. [https://drive.google.com/file/d/1qx_I8-wQU9AsYroDyzmrTJ--XB4LDaFW/view?usp=sharing LLM in Nature] | ||
== Семинары == | == Семинары == | ||
| Строка 56: | Строка 62: | ||
2. [https://drive.google.com/file/d/1LYVTg8-ak-vsG6xwh7lHnAxqFc3w6iEk/view?usp=sharing Dealing with LARGE Models] | 2. [https://drive.google.com/file/d/1LYVTg8-ak-vsG6xwh7lHnAxqFc3w6iEk/view?usp=sharing Dealing with LARGE Models] | ||
| + | |||
| + | 3. [https://drive.google.com/file/d/1XrdwDEuIX0_v2FBHYVqHVJHjZnUQ36ip/view?usp=sharing Efficiency in practice] | ||
== Домашние работы == | == Домашние работы == | ||
| Строка 65: | Строка 73: | ||
Жесткий дедлайн: 04.03.25 | Жесткий дедлайн: 04.03.25 | ||
| − | + | 2. [https://colab.research.google.com/drive/124ly2KftrQqb81b4beqDbV-7x2zLtZKF DPO & PPO] | |
Мягкий дедлайн: 09.03.25 | Мягкий дедлайн: 09.03.25 | ||
Жесткий дедлайн: 23.03.25 | Жесткий дедлайн: 23.03.25 | ||
| + | |||
| + | 3. [https://colab.research.google.com/drive/12idlb-POqGfRmLW5SpzYtkBdXhhYtu-K PEFT] | ||
| + | |||
| + | Мягкий дедлайн: 28.03.25 | ||
| + | |||
| + | Жесткий дедлайн: 28.03.25 | ||
Текущая версия на 21:04, 24 марта 2025
Содержание
[убрать]О курсе
Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.
Проводится экспертами из VK, с вопросами можно приходить к boss @ VK.
Полезные ссылки
- Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi
- AnyTask: https://anytask.org/course/1164, инвайт: g6Xinxx
- Оценки
- Видеозаписи лекций
Организационное
В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия. Летучка - это 5 вопросов на 10 минут по мотивам лекций.
Иногда мы будем проводить практические занятия, это могут быть
- Вспомогательные лекции, например, вспомнить PyTorch
- Дополнительный полезный материал, например, как масштабировать модели на кластерах
- Семинары или reading club - возможность выступить с разбором статьи на полезную тему
- QA сессии и философские разговоры - по необходимости
В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц. После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.
Выставление оценок
Активности за баллы:
- Домашняя работа - каждая оценивается от 0 до 10 баллов
- Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
- Выступление на семинаре - 10 баллов
Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)
Лекции
1. Введение в Языковое Моделирование
4. Alignment
5. Benchmarks
7. LLM Agents
8. RAG
Семинары
Практика совсем простая и чуть посложнее.
Домашние работы
Мягкий дедлайн: 18.02.25
Жесткий дедлайн: 04.03.25
2. DPO & PPO
Мягкий дедлайн: 09.03.25
Жесткий дедлайн: 23.03.25
3. PEFT
Мягкий дедлайн: 28.03.25
Жесткий дедлайн: 28.03.25
