Python для сбора и анализа данных КНАД — различия между версиями
Serggor (обсуждение | вклад) |
Serggor (обсуждение | вклад) |
||
Строка 15: | Строка 15: | ||
4. '''3 февраля.''' Визуализация данных в Python [https://colab.research.google.com/drive/1RpHTrG6KYo26af8OoIRHrcnJcsOcWGMT?usp=sharing matplotlib1] [https://colab.research.google.com/drive/1ozGNbCPTJ23wE9gXWVswT7ikCK73JJjL?usp=sharing matplotlib2] [https://colab.research.google.com/drive/1rMBLCIIJLPCD9mLKSXgmnaYj33dxuoQt?usp=sharing pandas_plot] [https://colab.research.google.com/drive/1rcr8nLmpKjCxK8MtzLrYld4u4Vr2RoNY?usp=sharing plotly] [https://colab.research.google.com/drive/1X6PA89UHuz4n4zGamIqAu0orESROcoI4?usp=sharing seaborn] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] | 4. '''3 февраля.''' Визуализация данных в Python [https://colab.research.google.com/drive/1RpHTrG6KYo26af8OoIRHrcnJcsOcWGMT?usp=sharing matplotlib1] [https://colab.research.google.com/drive/1ozGNbCPTJ23wE9gXWVswT7ikCK73JJjL?usp=sharing matplotlib2] [https://colab.research.google.com/drive/1rMBLCIIJLPCD9mLKSXgmnaYj33dxuoQt?usp=sharing pandas_plot] [https://colab.research.google.com/drive/1rcr8nLmpKjCxK8MtzLrYld4u4Vr2RoNY?usp=sharing plotly] [https://colab.research.google.com/drive/1X6PA89UHuz4n4zGamIqAu0orESROcoI4?usp=sharing seaborn] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] | ||
− | 5.'''10 февраля.''' Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. [https://docs.google.com/presentation/d/1YdAPe58zXrmniRbPnE3jRvXcxAgkDpVMouAi5CpVqV4/edit?usp=sharing презентация] [https://www.asozykin.ru/courses/sql источник вдохновения] [https://disk.yandex.ru/d/lKQKrdef4sDzIg скрипт для создания БД для MySQL с лекции] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] | + | 5. '''10 февраля.''' Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. [https://docs.google.com/presentation/d/1YdAPe58zXrmniRbPnE3jRvXcxAgkDpVMouAi5CpVqV4/edit?usp=sharing презентация] [https://www.asozykin.ru/courses/sql источник вдохновения] [https://disk.yandex.ru/d/lKQKrdef4sDzIg скрипт для создания БД для MySQL с лекции] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] |
− | 6. [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация] | + | 6. '''17 февраля.''' Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация] [https://forms.gle/PDuWh2xDUhbtW3799 обратная связь] |
Строка 36: | Строка 36: | ||
5. '''10/11 февраля''' Практика работы с SQL [https://disk.yandex.ru/d/LIuVS63qDlFYow архив с заданием], [https://www.coursera.org/learn/python-for-web/programming/L7SA9/praktichieskoie-zadaniie-po-mysql/instructions источник архива (если авторские права, все дела)] [https://paiza.io/en/languages/mysql online editor] [https://replit.com/join/uegrfmfcoi-sierghieigorshk repl with SQLite version & some solutions] [https://forms.gle/rzcVHqdKq8Pa5QAWA обратная связь] | 5. '''10/11 февраля''' Практика работы с SQL [https://disk.yandex.ru/d/LIuVS63qDlFYow архив с заданием], [https://www.coursera.org/learn/python-for-web/programming/L7SA9/praktichieskoie-zadaniie-po-mysql/instructions источник архива (если авторские права, все дела)] [https://paiza.io/en/languages/mysql online editor] [https://replit.com/join/uegrfmfcoi-sierghieigorshk repl with SQLite version & some solutions] [https://forms.gle/rzcVHqdKq8Pa5QAWA обратная связь] | ||
− | + | 6. '''17/18 февраля''' Решение задач на MapReduce с использованием python-библиотеки mrjob [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit#slide=id.g115aabdacb8_0_166 tasks] [https://disk.yandex.ru/d/2a1VxyxscTJZRg code] [https://forms.gle/rzcVHqdKq8Pa5QAWA обратная связь] | |
− | 6. [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit#slide=id.g115aabdacb8_0_166 tasks] | + | |
==Домашнее задание== | ==Домашнее задание== |
Версия 13:12, 17 февраля 2022
Преподаватели: С.С. Горшков М.К. Горденко И.В. Иванов
Содержание
Лекции
Четверг 9:30 – 10:50, zoom
1. 13 января. Модуль numpy. Основные операции для работы с numpy.array. презентация colab обратная связь
2. 20 января. Модуль pandas. pandas1, pandas2 обратная связь
3. 27 января. Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация обратная связь
4. 3 февраля. Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn обратная связь
5. 10 февраля. Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. презентация источник вдохновения скрипт для создания БД для MySQL с лекции обратная связь
6. 17 февраля. Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация обратная связь
Семинары
БКНАД211: Четверг 11:10 – 12:30, zoom
БКНАД212: Пятница 11:10 – 12:30, zoom
1. 13/14 января Решение задач на numpy. colab211 обратная связь
2. 20/21 января Решение задач на pandas.Series pandas1-211, repl_invite-211 обратная связь
3. 27/28 января magic в jupyter. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций задачи repl-invite211 обратная связь
4. 3/4 февраля Практика построения визуализаций с помощью matplotlib и plotly visualization repl-invite211 (с 3 семинара) решения обратная связь
5. 10/11 февраля Практика работы с SQL архив с заданием, источник архива (если авторские права, все дела) online editor repl with SQLite version & some solutions обратная связь
6. 17/18 февраля Решение задач на MapReduce с использованием python-библиотеки mrjob tasks code обратная связь
Домашнее задание
Сдача задач проводится в anytask, инвайты в закреплённом сообщении телеграм чата. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы. ДЗ 3 разделено на две части, максимум за каждую часть без учета бонусов – 4 и 6 соответственно.
Ваше задание может быть проверено и возвращено на доработку, если оно сдано заранее, хотя бы за двое суток до дедлайна, во всех остальных случаях на усмотрение преподавателя.
1. numpy. Дедлайн 23.01.2022 23:59. Максимум без учёта бонусов – 10 баллов
2. pandas. Дедлайн 30.01.2022 23:59. Максимум без учёта бонусов – 10 баллов
3.1. join. Дедлайн 10.02.2022 23:59. Максимум без учёта бонусов – 4 балла
3.2 visualization. Дедлайн 18.02.2022 20:59. Максимум без учёта бонусов – 6 баллов
Рекомендуемая основная литература
1. Python для анализа данных – курс от МФТИ и Mail.Ru Group
2. Hadoop. Система для обработки больших объемов данных
3. Основы SQL – курс Андрея Созыкина
4. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/
Рекомендуемая дополнительная литература
1. https://mrjob.readthedocs.io/en/latest/
2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.