Технологии прикладного анализа данных SAS — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(тест)
(all)
Строка 1: Строка 1:
 
== Расписание занятий ==
 
== Расписание занятий ==
  
−
Общая ссылка для всех лекций и семинаров: https://teams.microsoft.com/l/meetup-join/19%3abt3YFk3CdUF4vwyWQsW_Jb6FdHUCzgLG_hAumdyaxfw1%40thread.tacv2/1641804643575?context=%7b%22Tid%22%3a%2221f26c24-0793-4b07-a73d-563cd2ec235f%22%2c%22Oid%22%3a%22afe1666c-56bf-4dfa-88bb-62652330bdca%22%7d
+
'''Общая ссылка для всех лекций и семинаров:''' https://teams.microsoft.com/l/meetup-join/19%3abt3YFk3CdUF4vwyWQsW_Jb6FdHUCzgLG_hAumdyaxfw1%40thread.tacv2/1641804643575?context=%7b%22Tid%22%3a%2221f26c24-0793-4b07-a73d-563cd2ec235f%22%2c%22Oid%22%3a%22afe1666c-56bf-4dfa-88bb-62652330bdca%22%7d
  
  
−
График с 10.01.2022 по 28.02.2022 (включительно):
+
'''График с 10.01.2022 по 28.02.2022 (включительно):'''
  
 
по понедельникам, 14:40 - 16:00 - лекция (онлайн), Ильвовский Дмитрий Алексеевич.
 
по понедельникам, 14:40 - 16:00 - лекция (онлайн), Ильвовский Дмитрий Алексеевич.
Строка 11: Строка 11:
  
  
−
График с 05.03.2022 по 02.04.2022 (включительно):
+
'''График с 05.03.2022 по 02.04.2022 (включительно):'''
  
 
по субботам, 14:40 - 16:00 - лекция (онлайн), Титова Наталия Николаевна.
 
по субботам, 14:40 - 16:00 - лекция (онлайн), Титова Наталия Николаевна.
Строка 18: Строка 18:
  
  
−
=== О курсе ===
+
== О курсе ==
−
Данная страничка содержит ссылки на материалы по курсу в 2021/2022 учебном году на потоке образовательных программ :  
+
Данная дисциплина ставит своей целью изучение базовых сведений по анализу данных в среде SAS. Эти знания и навыки необходимы в профессиональной деятельности специалистов по математическому моделированию и информатике.
 +
 
 +
В результате изучения дисциплины студенты должны:
 +
* Знать основы языка SAS Base и уметь записывать и понимать простые про-граммы на этом языке;
 +
* Владеть основами макропрограммирования на языке SAS Base;
 +
* Понимать принципы работы основных статистических методов анализа данных на платформе SAS;
 +
* Уметь запускать и анализировать результаты выполнения основных стати-стических методов анализа данных на платформе SAS;
 +
* Знать список основных методов анализа данных, реализованных на платформе SAS.
 +
 
 +
 
 +
Описание курса на сайте НИУ ВШЭ - https://www.hse.ru/edu/courses/470995302
 
<br />
 
<br />
  
 
{| class="wikitable"
 
{| class="wikitable"
−
! Образовательная программа !! Курс !! Факультет !! Ссылка на страницу курса АДвБ
 
 
|-
 
|-
−
| [https://cs.hse.ru/ami Прикладная Математика и Информатика] || 3 курс || Факультета Компьютерных Наук НИУ ВШЭ  || [https://www.hse.ru/edu/courses/339498590 Анализ данных в бизнесе]
+
| Преподаватели || Ильвовский Дмитрий Алексеевич, Титова Наталия Николаевна
 
|-
 
|-
−
| [https://www.hse.ru/ba/data/about Прикладной анализ данных] || 3 курс || Факультета Компьютерных Наук НИУ ВШЭ  || [https://www.hse.ru/edu/courses/339492551 Анализ данных в бизнесе]
+
| Число кредитов || 5
 
|-
 
|-
−
| [https://www.hse.ru/ba/economics/ Экономика] || 3 курс || Факультета Экономических Наук НИУ ВШЭ  || [https://www.hse.ru/edu/courses/470904614 Анализ данных в бизнесе]
+
| Контактная работа (час.) || 60
 
|-
 
|-
−
| [https://www.hse.ru/ba/economics/ Экономика] || 4 курс || Факультета Экономических Наук НИУ ВШЭ  || [https://www.hse.ru/edu/courses/470904606 Анализ данных в бизнесе]
+
| Самостоятельная работа (час.) || 130
 
|-
 
|-
−
| [https://www.hse.ru/ba/stat/ Экономика и статистика] || 3 курс || Факультета Экономических Наук НИУ ВШЭ || [https://www.hse.ru/edu/courses/470904618 Анализ данных в бизнесе]
+
| Курс || 3
−
|-
+
−
| [https://www.hse.ru/ba/stat/ Экономика и статистика] || 4 курс || Факультета Экономических Наук НИУ ВШЭ || [https://www.hse.ru/edu/courses/470904610 Анализ данных в бизнесе]
+
 
|-
 
|-
−
| [https://www.hse.ru/ba/icef// Программа двух дипломов по экономике НИУ ВШЭ <br />и Лондонского университета] || 3 курс || Международный институт экономики и финансов НИУ ВШЭ || нет
+
| Формат изучения дисциплины || full-time
 
|}
 
|}
 
<br />
 
<br />
Строка 49: Строка 56:
 
== Программа курса==
 
== Программа курса==
  
−
'''Первый модуль''' будет читаться для 3 и 4 курса - обзор разделов:
 
−
* Клиентская аналитика;
 
−
*      Текстовая аналитика;
 
−
* Задачи анализа данных в розничных сетях продаж товаров;
 
−
* Основы оценки рисков;
 
−
*      ModelOps.
 
−
 
−
Первый модуль сможет погрузить студентов в актуальные задачи в бизнесе, а также в особенности анализа данных и построения аналитических моделей по каждому разделу модуля.
 
−
В этом модуле студентов познакомят с программным обеспечением SAS.
 
−
 
−
'''Второй модуль''' – командный проект только для 3 курса.
 
−
 
−
Студенты будут разделены на группы по 2-7 человек и каждой группе будет дана практическая задача.
 
−
Данный модуль позволит получить студентам практический опыт в анализе данных, разработке и в построении аналитических моделей на реальных данных.
 
−
 
−
== Использование и изучение ПО SAS в курсе «Анализ данных в бизнесе»==
 
−
 
−
Студент по своему желанию может выбирать программный инструмент для выполнения практики: SAS, R, Python.
 
−
 
−
'''Студенты, планирующие выполнять практику на SAS''', могут пройти бесплатно углубленные онлайн курсы.
 
−
 
−
''Для получения доступа к курсу необходимо обратиться к преподавателю курса Титовой Наталии или написать запрос в Телеграм чате.''
 
−
 
−
'''Если студент выполнил все практические задания на SAS и сдал курс на отлично''', то он может получить:
 
−
*сертификат о прохождении академической программы SAS
 
−
*электронный бейдж Acclaim, подтверждающий сдачу курса и перечень использованных SAS технологий
 
−
 
−
Все желающие студенты могут бесплатно пройти базовые онлайн курсы SAS:
 
−
*по основам программирования на SAS Base [https://support.sas.com/edu/schedules.html?id=2588&ctry=RU ссылка на курс]
 
−
*по основам статистического анализа с использованием ПО SAS [https://support.sas.com/edu/schedules.html?id=5235&ctry=RU ссылка на курс]
 
−
 
−
Также желающие студенты, готовые потратить дополнительное время на изучение программирования в SAS, могут бесплатно попробовать сдать профессиональную сертификацию в рамках программы SCYP (SAS® Software Certified Young Professionals) [https://www.sas.com/sas/training/scyp.html ссылка на курс].
 
−
 
−
== Лекции ==
 
−
 
−
 
−
  '''суббота      '''
 
 
{| class="wikitable"
 
{| class="wikitable"
−
'''      ПАД и МИЭФ - 13:00 - 14:30; <br />
 
−
'''ПМИ, Экономика, Экономика и статистика, МК - 14:40 - 16:10 '''<br />
 
−
<br />
 
−
'''ссылка на подключение к лекции''' - https://zoom.us/j/99220349786?pwd=WjFZTEFiQzA4b1lzVmVDbXdmNVMwUT09<br />
 
−
Идентификатор конференции: 992 2034 9786<br />
 
−
Код доступа: 476860<br />
 
 
|-
 
|-
−
! Название раздела !! Тема !! Дата для 3 и 4 курса !! Презентация!! Запись
+
! Номер раздела !! Тема
 
|-
 
|-
−
| Клиентская аналитика || Введение в клиентскую и онлайн аналитику || 15.01.2022  ||  ||
+
| 1 || Аналитическая платформа SAS. Обзор технологий.
 
|-
 
|-
−
| Клиентская аналитика || Построение прогнозных моделей и визуализация данных || 22.01.2022  ||  ||  
+
| 2 || Язык программирования SAS BASE
 
|-
 
|-
−
| Текстовая аналитика || Введение в задачи анализа текстовых данных || 29.01.2022  ||  ||  
+
| 2.1 || Основы программирования на SAS BASE
 
|-
 
|-
−
| Текстовая аналитика || Инструменты и методы текстовой аналитики || 05.02.2022 ||  ||
+
| 2.2 || Макросы, SQL
 
|-
 
|-
−
| Задачи анализа данных в розничных сетях продаж товаров || Введение в задачи анализа данных в ритейле. Прогнозирование спроса || 12.02.2022 || || 
+
| 3 || Библиотека методов статистического анализа SAS STAT
 
|-
 
|-
−
| Задачи анализа данных в розничных сетях продаж товаров || Описательная аналитика в Ритейл: кластеризация магазинов, сегментация товаров, восстановление спроса|| 19.02.2022 ||  ||
+
| 3.1 || Введение в SAS STAT, дисперсионный анализ
 
|-
 
|-
−
| Задачи анализа данных в розничных сетях продаж товаров || Задачи оптимизации запасов товаров в ритейл-сети, оптимизация цен, оптимизация ассортимента  || 26.02.2022  ||  ||  
+
| 3.2 || Линейная регрессия
 
|-
 
|-
−
| Основы оценки рисков || Введение в кредитные риски  || 5.03.2022  ||  ||  
+
| 3.3 || Логистическая регрессия
 
|-
 
|-
−
| Основы оценки рисков || Введение в рыночные риски || 12.03.2022  ||  ||  
+
| 3.4 || Обобщенные линейные модели
 
|-
 
|-
−
| Основы оценки рисков || Валидация моделей || 19.03.2022  ||  ||  
+
| 3.5 || Визуализация данных
 
|-
 
|-
−
| ModelOps || Операционализация моделей машинного обучения || 26.03.2022  || ||
+
| 3.6 || Методы кластеризации
−
|}
+
−
 
+
−
== Семинары ==
+
−
 
+
−
'''суббота 
+
−
'''Группа ФЭН 3 курс - 9:30,<br /> Группы ФЭН 4 курс - 11:10,<br /> Группа ПМИ+МК - 16:20,<br />
+
−
'''Группа ПАД 1 и МИЭФ - 18:10,<br /> Группа ПАД 2  - 19:40<br />
+
−
 
+
−
'''ссылка на подключение к семинару''' - https://zoom.us/j/99220349786?pwd=WjFZTEFiQzA4b1lzVmVDbXdmNVMwUT09<br />
+
−
Идентификатор конференции: 992 2034 9786<br />
+
−
Код доступа: 476860<br />
+
−
 
+
−
{| class="wikitable"
+
 
|-
 
|-
−
! Название раздела !! Тема !! Дата для ПМИ, ПАД, МИЭФ и МК !! Дата для ФЭН  !!  Презентация !! Запись
+
| 3.7 || Деревья решений
 
|-
 
|-
−
| Клиентская аналитика || Введение в клиентскую и онлайн аналитику || 15.01.2022 || 22.01.2022 ||  ||
+
| 3.8 || Композиции прогнозирующих алгоритмов. Случайный лес, бустинг.
 
|-
 
|-
−
| Клиентская аналитика || Построение прогнозных моделей и визуализация данных ||22.01.2022 || 29.01.2022 ||  ||
+
| 3.9 || Нелинейный модели. Нейронные сети.
−
|-
+
−
| Текстовая аналитика || Введение в задачи анализа текстовых данных || 29.01.2022 || 05.02.2022 ||  ||
+
−
|-
+
−
| Текстовая аналитика || Инструменты и методы текстовой аналитики || 05.02.2022 || 12.02.2022 ||  ||
+
−
|-
+
−
| Задачи анализа данных в розничных сетях продаж товаров || Введение в задачи анализа данных в ритейле. Прогнозирование спроса || 12.02.2022 || 19.02.2022 ||  || 
+
−
|-
+
−
| Задачи анализа данных в розничных сетях продаж товаров || Описательная аналитика в Ритейл: кластеризация магазинов, сегментация товаров, восстановление спроса || 19.02.2022 || 26.02.2022 ||  ||
+
−
|-
+
−
| Задачи анализа данных в розничных сетях продаж товаров || Задачи оптимизации запасов товаров в ритейл-сети, оптимизация цен, оптимизация ассортимента || 26.02.2022 || 5.03.2022 || ||
+
−
|-
+
−
| Основы оценки рисков || Введение в кредитные риски || 5.03.2022 || 12.03.2022 ||  ||
+
−
|-
+
−
| Основы оценки рисков || Введение в рыночные риски || 12.03.2022 || 19.03.2022 ||  ||
+
−
|-
+
−
| Основы оценки рисков || Валидация моделей || 19.03.2022 || 26.03.2022 ||  ||
+
−
|-
+
−
| ModelOps || Операционализация моделей машинного обучения || 26.03.2022 || 2.04.2022 ||  ||
+
 
|}
 
|}
  
−
== Отчётность по курсу и критерии оценки ==
+
== Использование и изучение ПО SAS в рамках курса==
 +
'''Программная среда для работы:''' студенты будут работать с платформой SAS Viya. Все необходимое ПО размещается в облаке, предоставляемом SAS, для доступа достаточно браузера.
  
−
В курсе предусмотрено несколько форм контроля знания:
+
Информация по использованию ПО SAS при выполнении заданий, а также ваши личные логины и пароли для доступа к серверу будут направлены вам позднее на ваши студенческие почты (в домене edu.hse.ru).
−
* 3 практических домашних задания
+
−
* Письменный экзамен, вопросы в виде теста с вариантами ответов
+
−
* Командный проект ( только для 3 курса )
+
  
−
'''Критерии оценки знаний, навыков'''
+
'''Студенты, выполняющие практику на SAS''', могут пройти бесплатно углубленные онлайн курсы.
  
−
*Оценки за все домашние задания выставляются по 2-балльной шкале, где «2» — задание решено полностью, «1» — задание решено не полностью или с недочётами, «0» — задание не решено или решено неверно.  
+
''Для получения доступа к курсу необходимо обратиться к преподавателю курса Титовой Наталии или написать запрос в Телеграм-чате.''
  
−
Если домашнее задание разбито на несколько частей, то каждая часть оценивается по 2-балльной шкале как описано выше, а затем оценки усредняются с равными весами без округления.  
+
'''Если студент выполнил все практические задания на SAS и сдал курс на отлично''', то он может получить:
 +
* сертификат о прохождении академической программы SAS
 +
* электронный бейдж Acclaim, подтверждающий сдачу курса и перечень использованных SAS технологий.
  
−
Перевод оценки за домашние задания из 2-балльной шкалы в 10-балльную проводится путём умножения оценки на 5 без округления.  
+
'''''Сертификат вручается студентам, имеющим итоговую оценку не ниже 9 баллов.'''''
  
−
*Оценка за экзамен выставляется по 10-балльной шкале.
 
  
−
*Оценка за командный проект выставляется по 10-балльной шкале.
+
Все желающие студенты могут бесплатно пройти базовые онлайн курсы SAS:
 +
*по основам программирования на SAS Base [https://support.sas.com/edu/schedules.html?id=2588&ctry=RU ссылка на курс]
 +
*по основам статистического анализа с использованием ПО SAS [https://support.sas.com/edu/schedules.html?id=5235&ctry=RU ссылка на курс]
  
−
'''Порядок формирования оценок по дисциплине'''
+
Также желающие студенты, готовые потратить дополнительное время на изучение программирования в SAS, могут бесплатно попробовать сдать профессиональную сертификацию в рамках программы SCYP (SAS® Software Certified Young Professionals) [https://www.sas.com/sas/training/scyp.html ссылка на курс].
  
−
Пусть оценки за 3 домашних задания по 10-балльной шкале —  '''O_1,O_2,O_3,''' а оценка за экзамен в конце первого модуля по 10-балльной шкале — '''O_экз'''.
+
== Отчётность по курсу и критерии оценки ==
  
 +
В курсе предусмотрено несколько форм контроля знания:
 +
* 4 практических домашних задания;
 +
* Экзамен.
  
−
Итоговая оценка для студентов ''4 курса'' '''O_итог''' рассчитывается по формуле
+
'''Критерии оценки знаний, навыков'''
  
−
'''O_итог = 0.225 * O_1 + 0.225 * O_2 + 0.225 * O_3 + 0.325 * O_экз'''
+
*Оценки за все домашние задания выставляются по 10-балльной шкале, проходной минимум - 4 балла.
  
 +
*Оценка за экзамен также выставляется по 10-балльной шкале.
  
−
Итоговая оценка для студентов ''3 курса'' в первом модуле '''O_мод''' рассчитывается по формуле
 
  
−
'''O_мод = 0.1 * O_1 + 0.1 * O_2 + 0.1 * O_3 + 0.2 * O_экз'''
+
'''Порядок формирования оценок по дисциплине'''
  
−
Оценка за проект во втором модуле '''O_пр''' выставляется по 10-балльной шкале по итогам защиты проекта.
+
'''Оценка итогового контроля''' в конце 2-го модуля выставляется по следующей формуле:
  
−
Итоговая оценка '''O_итог''' определяется по формуле '''O_итог = O_мод + 0.5 * O_пр'''
+
'''Оитог = 0,5·О_экзамен + 0,5·О_ДЗ'''
  
 +
и округляется до целого числа арифметическим способом,
 +
где
 +
* О_экзамен – оценка за работу непосредственно на экзамене по десятибалльной системе.
 +
* О_ДЗ – средняя оценка за все домашние задания по десятибалльной системе.
  
 
Округление происходит только в самом конце — в итоговой оценке. Округление арифметическое.  
 
Округление происходит только в самом конце — в итоговой оценке. Округление арифметическое.  
 
   
 
   
−
Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания.
+
Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).
 +
 
 +
Экзамен проходит в форме защиты домашних заданий: студенты отвечают на вопросы преподавателя по сделанным задачам и, в случае необходимости, выполняют дополнительное письменное задание. Если студент по какой-то причине не может или отказывается от защиты, ему необходимо пройти письменный экзамен.
  
 
== Домашние задания ==
 
== Домашние задания ==
Строка 202: Строка 145:
 
'''Домашнее задание №1'''
 
'''Домашнее задание №1'''
  
−
Задание состоит из 2 частей:
+
''Информация появится позднее.''
−
 
+
−
1. Исследование данных и обработка данных для проведения последующей сегментации;
+
−
 
+
−
2. Составить профили клиентов на основе проведенных сегментаций (использовать минимум 2 метода сегментации).
+
−
 
+
−
 
+
−
Пример подробного описания Домашнего задания №1 2020-2021 уч.года с примерами и результатами [https://drive.google.com/file/d/16WFqo1xfPvnlGLwyorWFGdiL2ZM8xp8D/view?usp=sharing читай в приложенном файле]
+
−
 
+
−
 
+
−
Каждый студент выбирает вариант, который указан напротив его ФИО в списке
+
−
[https://docs.google.com/spreadsheets/d/19HGjq6sUJ__0Cg0akOr7AIivKvIRh7ttas_9QE4Q3E0/edit?usp=sharing по ссылке]
+
−
 
+
−
 
+
−
Варианты и описание данных представлены  [https://drive.google.com/open?id=1jxwwFMEHVh91ZKx5_PqnMSUlsICytIbI в папке по ссылке]
+
−
 
+
−
 
+
−
Для того, чтобы получить оценку, требуется:
+
−
 
+
−
1. Прислать архив с файлами, где производились все расчеты и сопроводительное письмо с выводами и комментариями по
+
−
каждой части:
+
−
 
+
−
* Расчеты могут производиться через код (python/sas/sql), сводные таблицы и формулы в excel или проект SAS Viya;
+
−
* Все выводы необходимо подтверждать визуально интерпретируемыми графиками и данными.
+
−
 
+
−
2. Архив (.zip) с файлами требуется отправить на почту ntitova@hse.ru с темой «ФКН ВШЭ»
+
−
 
+
−
3. Название файла требуется отправлять по шаблону <Имя>_<Фамилия>_<номер группы>_hw1.zip.
+
−
 
+
−
Пример, Alexander_Sharipov_156_hw1
+
−
 
+
−
 
+
−
 
+
−
'''Оценка за  домашнее задание  №1''' выставляется по 10-балльной шкале, где:
+
−
 
+
−
«8-10» — задание решено полностью, выполнены все 2 части домашней работы:
+
−
* проведен анализ данных, предоставлен рабочий код и таблицы по исследованию данных;
+
−
* построены сегментации 2-мя методами;
+
−
* предоставлены понятные выводы с подтверждёнными данными (таблицы, графики);
+
−
 
+
−
«6-7» —задание решено неполностью или с недочётами:
+
−
* проведен анализ данных, предоставлен рабочий код и таблицы по исследованию данных;
+
−
* построена сегментация хотя бы одним методом;
+
−
* предоставлены понятные выводы с подтверждёнными данными (таблицы, графики);
+
−
 
+
−
«4-5» —задание решено с существенными недочетами,
+
−
* проведен анализ данных, предоставлен рабочий код и таблицы по исследованию данных;
+
−
* выявлены верхнеуровневые зависимости и закономерности по клиентам без построения модели сегментации;
+
−
 
+
−
«0-3» — задание не решено или решено неверно.
+
−
 
+
−
''Срок сдачи – 2 недели (19 февраля 2022 23:59).''
+
  
  
 
'''Домашнее задание №2'''
 
'''Домашнее задание №2'''
  
−
Описание ДЗ 2 находится в файле [https://drive.google.com/file/d/1R6BLH40CLk7uewRn02JlGj64Ov2peJgK/view?usp=sharing по ссылке]
+
''Информация появится позднее.''
−
 
+
−
''Срок сдачи – 12 марта 2022 23:59.''
+
−
Решения присылать на почту aromanenko@hse.ru
+
−
 
+
−
В теме письма обязательно должно быть следующее:  ВШЭ + Номер курса+номер_вариант+ФИО.
+
−
 
+
−
В названии файла необходимо указать:
+
−
*Номер курса
+
−
*Номер варианта
+
−
*ФИО
+
−
 
+
−
Пример: «ПМИ_3курс_Вариант_8_ИвановИванИванович»
+
  
  
 
'''Домашнее задание №3'''
 
'''Домашнее задание №3'''
  
−
Необходимо построить скориниговую модель, оценивающую вероятность дефолта клиента на стадии заведения кредитной заявки.
+
''Информация появится позднее.''
−
Для этого необходимо:
+
−
 
+
−
0. Скачать данные по ссылке https://drive.google.com/drive/u/0/folders/16CMyPnLu7Fv7IgsYOZimQK-7MaFZEWEZ
+
−
 
+
−
Каждый студент выбирает 2 выборки "accept" и "reject", которые начинаются с варианта студента.
+
−
Номера вариантов для ДЗ №3 необходимо взять  такие же как и для ДЗ №1
+
−
 
+
−
Выполненное задание необходимо отправить в следующем виде:
+
−
 
+
−
1) Файл/скрипты с построенными моделями (обязательно должны быть комментарии, без комментариев задание считается нерешенным)
+
−
 
+
−
2) Excel файл с ответами на следующие вопросы:
+
−
 
+
−
1. Какая доля 1 в выборке "accept"?
+
−
 
+
−
2. Необходимо рассчитать для всех интервальных переменных следующее:
+
−
  - Доля пропущенных значений
+
−
  - Медиана
+
−
  - Среднее
+
−
  - Среднеквадратическое отклонение
+
−
  - Есть ли аномальные значения, выбросы?
+
−
  - Information Value
+
−
3. Необходимо рассчитать для всех категориальных переменных следующее:
+
−
  - Мода
+
−
  - Доля пропущенных значений
+
−
  - Information Value
+
−
  - Есть ли выбросы, аномальные значений
+
−
4. Построить логистическую регрессию только на одобренных заявках с преобразованными переменными WoE. Какое значение GINI? F1 мера?
+
−
 
+
−
5. Провести анализ Reject Inference. Какая доля отказанных заявок?
+
−
 
+
−
6. Построить логистическую регрессию на всех заявках с преобразованными переменными WoE. Какое значение GINI, F1? Изменилась ли модель?
+
−
 
+
−
7. Какую модель вы рекомендуете для внедрения в продуктивную среду? Дать развернутое пояснение
+
−
 
+
−
 
+
−
Оценка за  домашние задания  №3 выставляется по 2-балльной шкале, где «2» — задание решено полностью, «1» — задание решено не полностью или с недочётами, «0» — задание не решено или решено неверно.
+
−
Перевод оценки за домашние задания из 2-балльной шкалы в 10-балльную проводится путём умножения оценки на 5 без округления.
+
−
 
+
−
За домашнюю работу №3  будут выставляться оценки:
+
−
«2» – правильно построена модель и на выборке accept, и на выборке reject. Даны верные ответы.
+
−
«1,6» – правильно построена модель и на выборке accept, и на выборке reject. 50% ответов верные.
+
−
«1,4» – правильно построена модель и на выборке accept, и на выборке reject. Даны неверные ответы
+
−
«1» - построена модель только на выборке accept.
+
−
«0,8» - задание решено не полностью. 50% ответов верные.
+
−
«0» — задание не решено или решено неверно.
+
−
 
+
−
''Срок сдачи –  до 26.03.2022 включительно''
+
−
 
+
−
Решения присылать на почту msvorobeva@hse.ru
+
−
В теме письма обязательно должно быть следующее:  ВШЭ + Номер курса+номер_вариант+ФИО.
+
−
 
+
−
В названии файла необходимо указать:
+
−
*Номер курса
+
−
*Номер варианта
+
−
*ФИО
+
−
 
+
−
 
+
−
Пример: «ПМИ_3курс_Вариант_8_ИвановИванИванович»
+
−
 
+
−
Если работы будут повторять друг друга, обе работы будут считаться нерешенными.
+
−
 
+
−
== Командный проект для 3 курса ==
+
−
 
+
−
'''Выбор темы для командного проекта по курсу "Анализ данных в бизнесе" '''
+
−
+
−
Студенты делятся на группы по 3 человека. В дальнейшем 2-3 группы могут соединить в одну. Внутри группы должен быть определен капитан команды - ответственное лицо группы.
+
−
 
+
−
Ответственное лицо отвечает за выполнение и результат следующих основных функций:
+
−
*  отправка заявки на тему проекта и согласование темы проекта от лица всей группы с преподавателями;
+
−
*  предоставление информации куратору о текущем статусе проекта: учет, распределение и контроль выполнения задания по проекту;
+
−
*  отправка отчетов, презентаций, технической документации по выполненными работам группы в электронном виде.
+
−
 
+
−
 
+
−
Описания тем проектов: [https://docs.google.com/document/d/1p_gECsEVi95_3-WW2eBJaA3yEGCJBzejDILSkPQDX7c/edit?usp=sharing ссылка на файл]
+
−
 
+
−
Ссылка на форму подачи заявки на тему: [https://forms.gle/QG2SwvYZ5tN2Pwow5 ссылка на файл]
+
−
 
+
−
 
+
−
'''Сроки выбора тем:'''
+
−
 
+
−
'''До 17 апреля группа должна  выбрать две темы из указанного списка''', указав первый и второй приоритет для этих тем.
+
−
 
+
−
'''18 апреля - каждой группе, которая подала заявку на проект, через указанную форму, будет назначена тема проекта и куратор.''' При назначении тем будут учитываться приоритеты указанные студентами, а также средний балл студентов в группе по первому модулю курса. На одну тему назначается не более 3-х групп студентов.
+
−
 
+
−
 
+
−
При возникновении вопросов пишите в Telegram Титовой Наталии.
+
−
 
+
−
 
+
−
Итогом каждого проекта должна быть презентация результатов проекта на 10-15 минут.
+
−
 
+
−
Защита проекта для ПАД и МИЭФ будет в середине мая  (17-22 мая), а также для всех желающих, которые готовы будут защититься.
+
−
 
+
−
Финальная защита для ПМИ, ФЭН  пройдет в середине июня (15-19 июня) до начала сессии.
+
−
 
+
−
Оценка за проект во втором модуле выставляется по 10-балльной шкале по итогам защиты проекта.
+
−
 
+
−
Те студенты, которые не нашли себе группу  тоже подают заявку на тему, но на одного себя. Мы сами соединим с группой по схожей теме.
+
−
 
+
  
−
'''Даты защиты учебных проектов в 4 модуле:'''
 
  
−
Защиты проектов пройдут с 17 по 19 июня 2021 года.
+
'''Домашнее задание №4'''
  
−
В файле по ссылке вы найдете список проектных групп с привязкой к дате и времени защиты, а так же ссылки для подключения к самим защитам.  
+
''Информация появится позднее.''
  
−
[https://docs.google.com/spreadsheets/d/127uq1MwiwZlPahfLj1AwBAuxMdpp44EM6hlYiLnYKyI/edit?usp=sharing Командные проекты - даты защит по группам и ссылки на подключение.]
 
  
 
== Задать вопрос по курсу ==
 
== Задать вопрос по курсу ==
−
'''Вопросы''' по курсу можно задавать в telegram чат курса, преподавателю курса Титовой Наталии @Natalitics или менеджеру кафедры SAS Лобок Татьяне (@tatianalobok) tlobok@hse.ru.
+
'''Вопросы''' по курсу можно задавать в Telegram-чате курса, преподавателю курса Титовой Наталии @Natalitics или менеджеру кафедры SAS Лобок Татьяне (@tatianalobok) tlobok@hse.ru.
  
  
−
Канал в telegram для объявлений: https://t.me/+Lj-yHhfNJTQxYWEy
+
Канал в Telegram для объявлений: https://t.me/+gI3IA1ucpok3MGUy
  
−
Чат в telegram для обсуждений: https://t.me/+a1VMTe2xwNA5Mzcy
+
Чат в Telegram для обсуждений: https://t.me/+hSmHk-PTzXszOTk6
  
  
−
''' Все объявления и материалы по курсу будут выкладываться в чате и в канале telegram! '''
+
''' Все объявления и материалы по курсу будут выкладываться в чате и в канале Telegram! '''
 
Преподаватели в чате бывают, но не всегда.  
 
Преподаватели в чате бывают, но не всегда.  
−
По всем важным вопросам стоит писать преподавателю Титовой Наталии в чате telegram @Natalitics или на почту Natalia.Titova@sas.com. В название письма обязательно добавлять тег [ПМИ ФКН ВШЭ/ПАД ФКН ВШЭ/МИЭФ ФКН ВШЭ/Эк ФЭН ВШЭ/ЭкСт ФЭН ВШЭ], а также указывать свою фамилию и имя.
+
По всем важным вопросам стоит писать преподавателю Титовой Наталии в чате Telegram @Natalitics или на почту Natalia.Titova@sas.com. В название письма обязательно добавлять тег [ПМИ ФКН ВШЭ/ПАД ФКН ВШЭ/МИЭФ ФКН ВШЭ/Эк ФЭН ВШЭ/ЭкСт ФЭН ВШЭ], а также указывать свою фамилию и имя.
  
 
Все приведенные файлы предназначены для использования студентами во время обучения и обновляются в течение года.
 
Все приведенные файлы предназначены для использования студентами во время обучения и обновляются в течение года.
Строка 450: Строка 229:
  
 
* Мортон С. (2016) Лаборатория презентаций. Формула идеального выступления. Альпина Паблишер.
 
* Мортон С. (2016) Лаборатория презентаций. Формула идеального выступления. Альпина Паблишер.
−
 
−
== Контакты  ==
 
−
 
−
[[Файл:Титова Наталья Николаевна.jpg|микро|70px|безрамки|слева]] '''Титова Наталия Николаевна''' - старший преподаватель
 
−
Natalia.Titova@sas.com
 
−
 
−
 
−
 
−
 
−
[[Файл:Лобок Татьяна Сергеевна.jpg|микро|70px|безрамки|слева]] '''Лобок Татьяна Сергеевна''' - менеджер базовой кафедры SAS
 
−
tlobok@hse.ru
 
−
 
−
== О курсе ==
 
−
Страница курса на сайте НИУ ВШЭ - https://www.hse.ru/edu/courses/470995302
 
−
{| class="wikitable"
 
−
|-
 
−
| Преподаватели || Ильвовский Дмитрий Алексеевич, Титова Наталия Николаевна
 
−
|-
 
−
| Число кредитов || 5
 
−
|-
 
−
| Контактная работа (час.) || 60
 
−
|-
 
−
| Самостоятельная работа (час.) || 130
 
−
|-
 
−
| Курс || 3
 
−
|-
 
−
| Формат изучеения дисциплины || full-time
 
−
|}
 

Версия 19:59, 16 января 2022

Расписание занятий

Общая ссылка для всех лекций и семинаров: https://teams.microsoft.com/l/meetup-join/19%3abt3YFk3CdUF4vwyWQsW_Jb6FdHUCzgLG_hAumdyaxfw1%40thread.tacv2/1641804643575?context=%7b%22Tid%22%3a%2221f26c24-0793-4b07-a73d-563cd2ec235f%22%2c%22Oid%22%3a%22afe1666c-56bf-4dfa-88bb-62652330bdca%22%7d


График с 10.01.2022 по 28.02.2022 (включительно):

по понедельникам, 14:40 - 16:00 - лекция (онлайн), Ильвовский Дмитрий Алексеевич.

по понедельникам, 16:20 - 17:40 - семинар (онлайн), Ильвовский Дмитрий Алексеевич.


График с 05.03.2022 по 02.04.2022 (включительно):

по субботам, 14:40 - 16:00 - лекция (онлайн), Титова Наталия Николаевна.

по субботам, 16:20 - 17:40 - семинар (онлайн), Титова Наталия Николаевна.


О курсе

Данная дисциплина ставит своей целью изучение базовых сведений по анализу данных в среде SAS. Эти знания и навыки необходимы в профессиональной деятельности специалистов по математическому моделированию и информатике.

В результате изучения дисциплины студенты должны:

  • Знать основы языка SAS Base и уметь записывать и понимать простые про-граммы на этом языке;
  • Владеть основами макропрограммирования на языке SAS Base;
  • Понимать принципы работы основных статистических методов анализа данных на платформе SAS;
  • Уметь запускать и анализировать результаты выполнения основных стати-стических методов анализа данных на платформе SAS;
  • Знать список основных методов анализа данных, реализованных на платформе SAS.


Описание курса на сайте НИУ ВШЭ - https://www.hse.ru/edu/courses/470995302

Преподаватели Ильвовский Дмитрий Алексеевич, Титова Наталия Николаевна
Число кредитов 5
Контактная работа (час.) 60
Самостоятельная работа (час.) 130
Курс 3
Формат изучения дисциплины full-time


дополнительные ссылки:

Программа курса

Номер раздела Тема
1 Аналитическая платформа SAS. Обзор технологий.
2 Язык программирования SAS BASE
2.1 Основы программирования на SAS BASE
2.2 Макросы, SQL
3 Библиотека методов статистического анализа SAS STAT
3.1 Введение в SAS STAT, дисперсионный анализ
3.2 Линейная регрессия
3.3 Логистическая регрессия
3.4 Обобщенные линейные модели
3.5 Визуализация данных
3.6 Методы кластеризации
3.7 Деревья решений
3.8 Композиции прогнозирующих алгоритмов. Случайный лес, бустинг.
3.9 Нелинейный модели. Нейронные сети.

Использование и изучение ПО SAS в рамках курса

Программная среда для работы: студенты будут работать с платформой SAS Viya. Все необходимое ПО размещается в облаке, предоставляемом SAS, для доступа достаточно браузера.

Информация по использованию ПО SAS при выполнении заданий, а также ваши личные логины и пароли для доступа к серверу будут направлены вам позднее на ваши студенческие почты (в домене edu.hse.ru).

Студенты, выполняющие практику на SAS, могут пройти бесплатно углубленные онлайн курсы.

Для получения доступа к курсу необходимо обратиться к преподавателю курса Титовой Наталии или написать запрос в Телеграм-чате.

Если студент выполнил все практические задания на SAS и сдал курс на отлично, то он может получить:

  • сертификат о прохождении академической программы SAS
  • электронный бейдж Acclaim, подтверждающий сдачу курса и перечень использованных SAS технологий.

Сертификат вручается студентам, имеющим итоговую оценку не ниже 9 баллов.


Все желающие студенты могут бесплатно пройти базовые онлайн курсы SAS:

Также желающие студенты, готовые потратить дополнительное время на изучение программирования в SAS, могут бесплатно попробовать сдать профессиональную сертификацию в рамках программы SCYP (SAS® Software Certified Young Professionals) ссылка на курс.

Отчётность по курсу и критерии оценки

В курсе предусмотрено несколько форм контроля знания:

  • 4 практических домашних задания;
  • Экзамен.

Критерии оценки знаний, навыков

  • Оценки за все домашние задания выставляются по 10-балльной шкале, проходной минимум - 4 балла.
  • Оценка за экзамен также выставляется по 10-балльной шкале.


Порядок формирования оценок по дисциплине

Оценка итогового контроля в конце 2-го модуля выставляется по следующей формуле:

Оитог = 0,5·О_экзамен + 0,5·О_ДЗ

и округляется до целого числа арифметическим способом, где

  • О_экзамен – оценка за работу непосредственно на экзамене по десятибалльной системе.
  • О_ДЗ – средняя оценка за все домашние задания по десятибалльной системе.

Округление происходит только в самом конце — в итоговой оценке. Округление арифметическое.

Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

Экзамен проходит в форме защиты домашних заданий: студенты отвечают на вопросы преподавателя по сделанным задачам и, в случае необходимости, выполняют дополнительное письменное задание. Если студент по какой-то причине не может или отказывается от защиты, ему необходимо пройти письменный экзамен.

Домашние задания

Домашнее задание №1

Информация появится позднее.


Домашнее задание №2

Информация появится позднее.


Домашнее задание №3

Информация появится позднее.


Домашнее задание №4

Информация появится позднее.


Задать вопрос по курсу

Вопросы по курсу можно задавать в Telegram-чате курса, преподавателю курса Титовой Наталии @Natalitics или менеджеру кафедры SAS Лобок Татьяне (@tatianalobok) tlobok@hse.ru.


Канал в Telegram для объявлений: https://t.me/+gI3IA1ucpok3MGUy

Чат в Telegram для обсуждений: https://t.me/+hSmHk-PTzXszOTk6


Все объявления и материалы по курсу будут выкладываться в чате и в канале Telegram! Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать преподавателю Титовой Наталии в чате Telegram @Natalitics или на почту Natalia.Titova@sas.com. В название письма обязательно добавлять тег [ПМИ ФКН ВШЭ/ПАД ФКН ВШЭ/МИЭФ ФКН ВШЭ/Эк ФЭН ВШЭ/ЭкСт ФЭН ВШЭ], а также указывать свою фамилию и имя.

Все приведенные файлы предназначены для использования студентами во время обучения и обновляются в течение года. По найденным опечаткам, неточностям, сбоям работы странички просьба писать на электронную почту tlobok@hse.ru.

Материалы по курсу

Документы и программа курса Внимание: файлы обновляются!

  • Рабочая программа дисциплины для 3 и 4 курса можно найти по следующей ссылке.

Рекомендуемая литература и полезные дополнительные материалы

Полезные материалы


Полезная литература

К разделу 1:


К разделу 2:

  • Шапиро Дж (2006). Моделирование цепи поставок. Питер. Серия «Теория менеджмента».
  • Tijms H.C., Groenevelt H. (1984). Simple approximations for the reorder point in periodic and continuous review (s, S) inventory systems with service level constraints. European Journal of Operational Research, Vol. 17, Issue 2, August 1984, Pages 175-190.]


К разделу 3:

  • Christoffersen P. (2012) Elements of Financial Risk Management. 2nd ed. Elseiver Academic Press.

К разделу 4:

  • Мортон С. (2016) Лаборатория презентаций. Формула идеального выступления. Альпина Паблишер.
Источник — «http://wiki.cs.hse.ru/index.php?title=Технологии_прикладного_анализа_данных_SAS&oldid=64281»