Python для сбора и анализа данных КНАД — различия между версиями

Версия 15:47, 17 марта 2022

Преподаватели: С.С. Горшков М.К. Горденко И.В. Иванов

телеграм-чат

Лекции

Четверг 9:30 – 10:50, zoom

1. 13 января Модуль numpy. Основные операции для работы с numpy.array. презентация colab обратная связь

2. 20 января Модуль pandas. pandas1, pandas2 обратная связь

3. 27 января Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация обратная связь

4. 3 февраля Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn обратная связь

5. 10 февраля Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. презентация источник вдохновения скрипт для создания БД для MySQL с лекции обратная связь

6. 17 февраля Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация обратная связь

7. 24 февраля Spark презентация техносферы обратная связь

8. 10 марта Flask презентация код (post, posts – уже семинар, upd: post-edit, post-delete) обратная связь

9. 14 марта Docker. презентация обратная связь

Семинары

БКНАД211: Четверг 11:10 – 12:30, zoom

БКНАД212: Пятница 11:10 – 12:30, zoom

1. 13/14 января Решение задач на numpy. colab211 обратная связь

2. 20/21 января Решение задач на pandas.Series pandas1-211, repl_invite-211 обратная связь

3. 27/28 января magic в jupyter. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций задачи repl-invite211 обратная связь

4. 3/4 февраля Практика построения визуализаций с помощью matplotlib и plotly visualization repl-invite211 (с 3 семинара) решения обратная связь

5. 10/11 февраля Практика работы с SQL архив с заданием, источник архива (если авторские права, все дела) online editor repl with SQLite version & some solutions обратная связь

6. 17/18 февраля Решение задач на MapReduce с использованием python-библиотеки mrjob tasks code обратная связь

7. 24/25 февраля Решение задач на pySpark tasks colab Сравнение RDD и DataFrame обратная связь

8. 10/11 марта Написание приложения на flask. Написать интернет магазин телефонов, с представлением товаров на странице в виде иконок и подробной карточкой для каждого товара. Достаточно 5-10 объявлений с картинками зачем нужен repr обратная связь

9. 14/16 марта Написание Docker-файла к flask-приложению. простейшее приложение на flask файлы docker обратная связь

Домашнее задание

Сдача задач проводится в anytask, инвайты в закреплённом сообщении телеграм чата. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы. ДЗ 3 разделено на две части, максимум за каждую часть без учета бонусов – 4 и 6 соответственно.

Ваше задание может быть проверено и возвращено на доработку, если оно сдано заранее, хотя бы за двое суток до дедлайна, во всех остальных случаях на усмотрение преподавателя.

1. numpy. Дедлайн 23.01.2022 23:59. Максимум без учёта бонусов – 10 баллов

2. pandas. Дедлайн 30.01.2022 23:59. Максимум без учёта бонусов – 10 баллов

3. join. Дедлайн 10.02.2022 23:59. Максимум без учёта бонусов – 10 баллов

5. visualization. Дедлайн 18.02.2022 20:59. Максимум без учёта бонусов – 10 баллов

4. sql. Дедлайн 01.03.2022 01:59. Максимум без учёта бонусов – 10 баллов

6. docker. Дедлайн 26.03.2022 23:59. Максимум без учёта бонусов – 10 баллов

ПРОЕКТ [бонус]. Написать на flask интернет магазин телефонов с использованием базы данных, с представлением товаров на странице в виде иконок и подробной карточкой для каждого товара (по образу и подобию лекции). Подумайте, какие характеристики товара нужно указывать. За корректную красивую реализацию с подходящим шаблоном и набором действий максимум можно получить 7 баллов. Реализуйте функционал сравнения телефонов, при этом чтобы было понятно, значение характеристики какого телефона лучше – максимум 3 балла. Проверьте, что если сузить окно браузера, то всё будет работать и сравнение не разъедется. В качестве данных достаточно 5-10 объявлений с картинками. Дедлайн 20.03.2022 23:59. Итого максимум без учёта бонусов – 10 баллов

Рекомендуемая основная литература

1. Python для анализа данных – курс от МФТИ и Mail.Ru Group

2. Hadoop. Система для обработки больших объемов данных

3. Основы SQL – курс Андрея Созыкина

4. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop

5. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/

Рекомендуемая дополнительная литература

1. https://mrjob.readthedocs.io/en/latest/

2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.

3. https://vk.com/itcookies/python

4. О функции apply в pandas