Python для сбора и анализа данных КНАД 24/25

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

Записи занятий

Все записи курса

Чат и канал курса

Вики-страница прошлого года

Форма обратной связи. Можно заполнять когда угодно с любыми вопросами

Курс 1 модуля

Лекции

Четверг 11:10 – 12:30

1. 9 января. Модуль numpy. Основные операции для работы с numpy.array. Презентация, ноутбук.

2. 16 января. Модуль pandas ноутбукgroupby/merge

3. 23 января Параллельность: GIL, многопоточность, многопроцессность, синхронизация. параллельностьcolab performance презентация

4. 30 января Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn magic в jupyter

5. 6 февраля Работа с базами данных colab Слайды

6. 11 февраля MapReduce, Hadoop, HDFS, YARN презентация YARN


Семинары

Код семинаров группы 241 github Код семинаров группы 242 github

Домашнее задание

Сдача задач проводится в anytask, инвайты будут в телеграм канале курса. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение платформы, оно больше, чем наш максимум, ибо в него входят бонусные баллы.

Ваше задание может быть проверено и возвращено на доработку на усмотрение проверяющего.

1. numpy. Дедлайн 18.01.2024 23:59. Максимум без учёта бонусов – 10 баллов

2. pandas. Дедлайн 24.01.2024 23:59. Максимум без учёта бонусов – 10 баллов

3. join. Дедлайн 31.01.2024 23:59. Максимум без учёта бонусов – 10 баллов

4. visualization. Дедлайн 07.02.2024 23:59. Максимум без учёта бонусов – 10 баллов

5. sql. Дедлайн 14.02.2024 23:59. Максимум без учёта бонусов – 10 баллов

Ко всем заданиям применяется система мягких и жестких дедлайнов. Мягкий указан выше, жёсткий = мягкий + трое суток.

Оценивание

Накоп = МИНИМУМ((ДЗ1 + ДЗ2 + ДЗ3 + ДЗ4 + ДЗ5 + ДЗ6 + ДЗ7 + ДЗ8) / 8, 10)

Итог = 0.7 * Накоп + 0.3 * экз

Автомат = Накоп если Накоп >= 6 и есть желание получить автомат


Рекомендуемая основная литература

1. Hadoop. Система для обработки больших объемов данных

2. Основы SQL – курс Андрея Созыкина

3. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop

4. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/

Рекомендуемая дополнительная литература

1. https://mrjob.readthedocs.io/en/latest/

2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.

3. https://vk.com/itcookies/python

4. О функции apply в pandas

Источник — «http://wiki.cs.hse.ru/index.php?title=Python_для_сбора_и_анализа_данных_КНАД_24/25&oldid=89664»