Python для сбора и анализа данных КНАД
Преподаватели: С.С. Горшков М.К. Горденко И.В. Иванов
Содержание
Лекции
Четверг 9:30 – 10:50, zoom
1. 13 января Модуль numpy. Основные операции для работы с numpy.array. презентация colab обратная связь
2. 20 января Модуль pandas. pandas1, pandas2 обратная связь
3. 27 января Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация обратная связь
4. 3 февраля Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn обратная связь
5. 10 февраля Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. презентация источник вдохновения скрипт для создания БД для MySQL с лекции обратная связь
6. 17 февраля Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация обратная связь
7. 24 февраля Spark презентация техносферы обратная связь
8. 10 марта Flask презентация код (post, posts – уже семинар, upd: post-edit, post-delete) обратная связь
9. 14 марта Docker. презентация обратная связь
10. 21 марта Kubernetes презентация обратная связь
Семинары
БКНАД211: Четверг 11:10 – 12:30, zoom
БКНАД212: Пятница 11:10 – 12:30, zoom
1. 13/14 января Решение задач на numpy. colab211 обратная связь
2. 20/21 января Решение задач на pandas.Series pandas1-211, repl_invite-211 обратная связь
3. 27/28 января magic в jupyter. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций задачи repl-invite211 обратная связь
4. 3/4 февраля Практика построения визуализаций с помощью matplotlib и plotly visualization repl-invite211 (с 3 семинара) решения обратная связь
5. 10/11 февраля Практика работы с SQL архив с заданием, источник архива (если авторские права, все дела) online editor repl with SQLite version & some solutions обратная связь
6. 17/18 февраля Решение задач на MapReduce с использованием python-библиотеки mrjob tasks code обратная связь
7. 24/25 февраля Решение задач на pySpark tasks colab Сравнение RDD и DataFrame обратная связь
8. 10/11 марта Написание приложения на flask. Написать интернет магазин телефонов, с представлением товаров на странице в виде иконок и подробной карточкой для каждого товара. Достаточно 5-10 объявлений с картинками зачем нужен repr обратная связь
9. 14/16 марта Написание Docker-файла к flask-приложению. простейшее приложение на flask файлы docker обратная связь
10. 21/23 марта Практика Kubernetes команды обратная связь
Домашнее задание
Сдача задач проводится в anytask, инвайты в закреплённом сообщении телеграм чата. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы. ДЗ 3 разделено на две части, максимум за каждую часть без учета бонусов – 4 и 6 соответственно.
Ваше задание может быть проверено и возвращено на доработку, если оно сдано заранее, хотя бы за двое суток до дедлайна, во всех остальных случаях на усмотрение преподавателя.
1. numpy. Дедлайн 23.01.2022 23:59. Максимум без учёта бонусов – 10 баллов
2. pandas. Дедлайн 30.01.2022 23:59. Максимум без учёта бонусов – 10 баллов
3. join. Дедлайн 10.02.2022 23:59. Максимум без учёта бонусов – 10 баллов
5. visualization. Дедлайн 18.02.2022 20:59. Максимум без учёта бонусов – 10 баллов
4. sql. Дедлайн 01.03.2022 01:59. Максимум без учёта бонусов – 10 баллов
6. docker. Дедлайн 26.03.2022 23:59. Максимум без учёта бонусов – 10 баллов
ПРОЕКТ [бонус]. Написать на flask интернет магазин телефонов с использованием базы данных, с представлением товаров на странице в виде иконок и подробной карточкой для каждого товара (по образу и подобию лекции). Подумайте, какие характеристики товара нужно указывать. За корректную красивую реализацию с подходящим шаблоном и набором действий максимум можно получить 7 баллов. Реализуйте функционал сравнения телефонов, при этом чтобы было понятно, значение характеристики какого телефона лучше – максимум 3 балла. Проверьте, что если сузить окно браузера, то всё будет работать и сравнение не разъедется. В качестве данных достаточно 5-10 объявлений с картинками. Дедлайн 20.03.2022 23:59. Итого максимум без учёта бонусов – 10 баллов
Рекомендуемая основная литература
1. Python для анализа данных – курс от МФТИ и Mail.Ru Group
2. Hadoop. Система для обработки больших объемов данных
3. Основы SQL – курс Андрея Созыкина
4. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop
5. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/
Рекомендуемая дополнительная литература
1. https://mrjob.readthedocs.io/en/latest/
2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.
