Программирование (python) для лингвистов экзамен

1. Объектно-ориентированное программирование
   1. принципы и понятия ООП, их реализация в языке Python
   2. классы, экземпляры классов, конструкторы, свойства и методы.
   3. наследование, переопределение функций.
   4. композиция как альтернатива наследованию.
2. Базовые понятия теории алгоритмов.
   1. понятие вычислительной сложности.
   2. поиск паттерна в строке, алгоритм Рабина-Карпа.
   3. асимптотическая оценка сложности по времени и по памяти
3. Постановка задач машинного обучения
   1. supervised vs unsupervised learning, примеры задач
   2. виды функции потерь
   3. метрики качества и их особенности
   4. особенности многоклассовой классификации
      1. one vs rest
      2. one vs one
      3. multinomial logistic regression, softmax
4. Явление переобучения и как с ним бороться
   1. регуляризация в линейных моделях
   2. отбор признаков
   3. bias-variance decomposition
5. Оптимизация гиперпарамтеров модели, Градиентный спуск
   1. виды валидации и их свойста:
      1. hold out
      2. cross-validation
      3. leave-one-out
   2. градиентный спуск
   3. стохастический градиентный спуск
6. Наивный байесовский классификатор
   1. формулировка задачи обучения (функция потерь / функционал качества)
   2. алгоритм обучения
   3. решающее правило
   4. особенности, достоинства и недостатки
7. Линейные модели для регресиии, Lasso и Ridge регрессия
   1. формулировка задачи обучения (функция потерь / функционал качества)
   2. алгоритм обучения
   3. решающее правило
   4. особенности, достоинства и недостатки
8. Логистическая регрессия
   1. формулировка задачи обучения (функция потерь / функционал качества)
   2. алгоритм обучения
   3. решающее правило
   4. особенности, достоинства и недостатки
   5. multinomial logistic regression
9. Support Vector Machine
   1. понятие отступа (margin)
   2. формулировка задачи обучения (функция потерь / функционал качества)
   3. алгоритм обучения
   4. решающее правило
   5. особенности, достоинства и недостатки
10. K-Nearest Neighbors
    1. алгоритм обучения
    2. решающее правило
    3. особенности, достоинства и недостатки
    4. сложность алгоритма
11. Постановка задачи кластеризации, K-means
    1. формулировка задачи обучения (функция потерь / функционал качества)
    2. алгоритм обучения
    3. особенности, достоинства и недостатки
    4. оценка качества кластеризации, внутренние и внешние метрики качества
12. Постановка задачи кластеризации, Иерархическая кластеризация
    1. types of linkage
    2. формулировка задачи обучения (функция потерь / функционал качества)
    3. алгоритм обучения
    4. особенности, достоинства и недостатки
    5. оценка качества кластеризации, внутренние и внешние метрики качества
13. Понижение размерности. PCA
    1. формулировка задачи обучения (функция потерь / функционал качества)
    2. алгоритм обучения
    3. решающее правило
    4. особенности, достоинства и недостатки
    5. сложность алгоритма
14. Распределенные представления Word2vec (CBOW, skip-grams) и Glove
    1. формулировка задачи обучения (функция потерь / функционал качества)
    2. алгоритм обучения
    3. операции над векторами, поиск синонимов.
    4. особенности, достоинства и недостатки
15. Тематическое моделирование LSA, LDA, NMF
    1. формулировка задачи обучения (функция потерь / функционал качества)
    2. решающее правило
    3. особенности, достоинства и недостатки
    4. методы оценки качества тематических моделей
16. Модели с латентными переменными. Скрытые марковские модели.
    1. допущения марковской модели
    2. supervised vs unsupervised learning
    3. алгоритм Витерби
    4. особенности, достоинства и недостатки
17. решающие деревья
    1. формулировка задачи обучения (функция потерь / функционал качества)
    2. критерии расщепления
    3. алгоритм обучения
    4. решающее правило
    5. связь с отбором признаков
    6. особенности, достоинства и недостатки
18. Bagging. Random Forest
    1. формулировка задачи обучения (функция потерь / функционал качества)
    2. алгоритм обучения
    3. решающее правило
    4. связь с bias-variance decomposition
    5. особенности, достоинства и недостатки
19. Boosting
    1. Adaboost vs gradient boosting
    2. формулировка задачи обучения (функция потерь / функционал качества)
    3. алгоритм обучения
    4. решающее правило
    5. связь с bias-variance decomposition
    6. особенности, достоинства и недостатки