Машинное обучение на матфаке 2018/2019/Программа экзамена — различия между версиями
Материал из Wiki - Факультет компьютерных наук
(Новая страница: «Программа экзамена включает в себя все темы из Машинное обучение на матфаке 2018/2019/Прог…») |
|||
Строка 3: | Строка 3: | ||
* Различные функции потерь для регрессий: MAE, Huber loss. | * Различные функции потерь для регрессий: MAE, Huber loss. | ||
* L1-регуляризация как метод отбора признаков. | * L1-регуляризация как метод отбора признаков. | ||
− | * Логистическая регрессия, её функция правдоподобия. Логарифмическая функция потерь. Выражение функции потерь через отступ. | + | * Логистическая регрессия, её функция правдоподобия. Логарифмическая функция потерь. Отступ. Выражение функции потерь через отступ. |
* Многоклассовая классификация: комбинирование двухклассовых классификаторов (one vs rest, one vs one). | * Многоклассовая классификация: комбинирование двухклассовых классификаторов (one vs rest, one vs one). | ||
* Многоклассовая (мультиномиальная) логистическая регрессия. | * Многоклассовая (мультиномиальная) логистическая регрессия. |
Текущая версия на 10:00, 22 декабря 2018
Программа экзамена включает в себя все темы из программы контрольной, а также следующие темы:
- Различные функции потерь для регрессий: MAE, Huber loss.
- L1-регуляризация как метод отбора признаков.
- Логистическая регрессия, её функция правдоподобия. Логарифмическая функция потерь. Отступ. Выражение функции потерь через отступ.
- Многоклассовая классификация: комбинирование двухклассовых классификаторов (one vs rest, one vs one).
- Многоклассовая (мультиномиальная) логистическая регрессия.
- Обработка текстов методами машинного обучения. TF-IDF.
- Support vector machines как задача уменьшения эмпирического риска для hinge loss.
- Решающие деревья. Алгоритм построения решающего дерева. Impurity functions: gini, энтропия, RSS. Критерии останова: глубина, количество объектов в терминальной вершине.
- Бустреп. Бэггинг. Random forest.
- Градиентный бустинг над деревьями.
- Нейронные сети как способ обучения признаков. Многослойный перспектрон. Теорема об универсальной аппроксимации для персептрона с двумя скрытыми слоями и ReLU-активацией (набросок доказательства). Backpropagation. Стохастический градиентный спуск
- Свёртка. Свёрточные нейронные сети.
- Рекуррентные нейронные сети.
- Метод главных компонент (PCA).
- Кластеризация: алгоритм K-means.
- Разделение гауссовых смесей, EM-алгоритм.