Python для сбора и анализа данных КНАД — различия между версиями
Serggor (обсуждение | вклад) |
Serggor (обсуждение | вклад) |
||
| Строка 7: | Строка 7: | ||
Четверг 9:30 – 10:50, [https://zoom.us/j/91089289265?pwd=QXhjcDVtWGMrSkNtN1BMWFNHclB4UT09 zoom] | Четверг 9:30 – 10:50, [https://zoom.us/j/91089289265?pwd=QXhjcDVtWGMrSkNtN1BMWFNHclB4UT09 zoom] | ||
| − | 1. '''13 января | + | 1. '''13 января''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1GftHqEgq6HT30LDqeteEuPQos3gamPQN8IqZiymnHd0/edit?usp=sharing презентация] [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing colab] [https://forms.gle/QsocrP7nnKuKsSak6 обратная связь] |
| − | 2. '''20 января | + | 2. '''20 января''' Модуль pandas. [https://colab.research.google.com/drive/1nd2r3t85U2jGrdms4z0WJ2UPW1G-YsPE?usp=sharing pandas1], [https://colab.research.google.com/drive/1RkmTX9RqT-qtdMMlUY_nBrPB_UO7ehU5?usp=sharing pandas2] [https://forms.gle/j8ZiGuC4GeV75Tmu8 обратная связь] |
| − | 3. '''27 января | + | 3. '''27 января''' Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами [https://docs.google.com/presentation/d/1y6O6oh1QlT1kJFPQxM8Kn8xyrnl8_Q1SwCin15ZnkAg/edit?usp=sharing презентация] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] |
| − | 4. '''3 февраля | + | 4. '''3 февраля''' Визуализация данных в Python [https://colab.research.google.com/drive/1RpHTrG6KYo26af8OoIRHrcnJcsOcWGMT?usp=sharing matplotlib1] [https://colab.research.google.com/drive/1ozGNbCPTJ23wE9gXWVswT7ikCK73JJjL?usp=sharing matplotlib2] [https://colab.research.google.com/drive/1rMBLCIIJLPCD9mLKSXgmnaYj33dxuoQt?usp=sharing pandas_plot] [https://colab.research.google.com/drive/1rcr8nLmpKjCxK8MtzLrYld4u4Vr2RoNY?usp=sharing plotly] [https://colab.research.google.com/drive/1X6PA89UHuz4n4zGamIqAu0orESROcoI4?usp=sharing seaborn] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] |
| − | 5. '''10 февраля | + | 5. '''10 февраля''' Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. [https://docs.google.com/presentation/d/1YdAPe58zXrmniRbPnE3jRvXcxAgkDpVMouAi5CpVqV4/edit?usp=sharing презентация] [https://www.asozykin.ru/courses/sql источник вдохновения] [https://disk.yandex.ru/d/lKQKrdef4sDzIg скрипт для создания БД для MySQL с лекции] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] |
| − | 6. '''17 февраля | + | 6. '''17 февраля''' Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] |
| + | |||
| + | 7. '''24 февраля''' Spark | ||
Версия 08:07, 24 февраля 2022
Преподаватели: С.С. Горшков М.К. Горденко И.В. Иванов
Содержание
Лекции
Четверг 9:30 – 10:50, zoom
1. 13 января Модуль numpy. Основные операции для работы с numpy.array. презентация colab обратная связь
2. 20 января Модуль pandas. pandas1, pandas2 обратная связь
3. 27 января Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация обратная связь
4. 3 февраля Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn обратная связь
5. 10 февраля Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. презентация источник вдохновения скрипт для создания БД для MySQL с лекции обратная связь
6. 17 февраля Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация обратная связь
7. 24 февраля Spark
Семинары
БКНАД211: Четверг 11:10 – 12:30, zoom
БКНАД212: Пятница 11:10 – 12:30, zoom
1. 13/14 января Решение задач на numpy. colab211 обратная связь
2. 20/21 января Решение задач на pandas.Series pandas1-211, repl_invite-211 обратная связь
3. 27/28 января magic в jupyter. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций задачи repl-invite211 обратная связь
4. 3/4 февраля Практика построения визуализаций с помощью matplotlib и plotly visualization repl-invite211 (с 3 семинара) решения обратная связь
5. 10/11 февраля Практика работы с SQL архив с заданием, источник архива (если авторские права, все дела) online editor repl with SQLite version & some solutions обратная связь
6. 17/18 февраля Решение задач на MapReduce с использованием python-библиотеки mrjob tasks code обратная связь
Домашнее задание
Сдача задач проводится в anytask, инвайты в закреплённом сообщении телеграм чата. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы. ДЗ 3 разделено на две части, максимум за каждую часть без учета бонусов – 4 и 6 соответственно.
Ваше задание может быть проверено и возвращено на доработку, если оно сдано заранее, хотя бы за двое суток до дедлайна, во всех остальных случаях на усмотрение преподавателя.
1. numpy. Дедлайн 23.01.2022 23:59. Максимум без учёта бонусов – 10 баллов
2. pandas. Дедлайн 30.01.2022 23:59. Максимум без учёта бонусов – 10 баллов
3.1. join. Дедлайн 10.02.2022 23:59. Максимум без учёта бонусов – 4 балла
3.2 visualization. Дедлайн 18.02.2022 20:59. Максимум без учёта бонусов – 6 баллов
4. sql. Дедлайн 01.03.2022 01:59. Максимум без учёта бонусов – 10 баллов
Рекомендуемая основная литература
1. Python для анализа данных – курс от МФТИ и Mail.Ru Group
2. Hadoop. Система для обработки больших объемов данных
3. Основы SQL – курс Андрея Созыкина
4. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/
Рекомендуемая дополнительная литература
1. https://mrjob.readthedocs.io/en/latest/
2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.
