Python для сбора и анализа данных КНАД 22/23 — различия между версиями
Serggor (обсуждение | вклад) |
Serggor (обсуждение | вклад) |
||
| Строка 20: | Строка 20: | ||
5. '''7 февраля''' Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация] | 5. '''7 февраля''' Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация] | ||
| + | |||
| + | 6. '''14 февраля''' Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. [https://docs.google.com/presentation/d/14g4OHrgpVYGG7f5XZX-E0PBdptOFCCbAGDfq3IZIqdY/edit?usp=drivesdk презентация] [https://www.asozykin.ru/courses/sql источник вдохновения] [https://disk.yandex.ru/d/lKQKrdef4sDzIg скрипт для создания БД для MySQL] | ||
| + | |||
| + | 7. '''21 февраля''' Spark [https://www.slideshare.net/Technopark/lecture-12-48215750 презентация техносферы] | ||
==Семинары== | ==Семинары== | ||
| Строка 33: | Строка 37: | ||
3. '''27 января''' Решение задач на pandas. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций [https://colab.research.google.com/drive/117i2k1t5dKt0plS7GEpnJEtA43ie05kx?usp=sharing задачи] | 3. '''27 января''' Решение задач на pandas. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций [https://colab.research.google.com/drive/117i2k1t5dKt0plS7GEpnJEtA43ie05kx?usp=sharing задачи] | ||
| − | 4. '''3 февраля''' Практика построения визуализаций с помощью matplotlib | + | 4. '''3 февраля''' Практика построения визуализаций с помощью matplotlib [https://colab.research.google.com/drive/1XL-pkSCZ1lJ8lCxF2aBRGYQtiJlySUfl?usp=sharing задачи] |
| + | |||
| + | 5. '''10 февраля''' Практика построения визуализаций с помощью plotly. Знакомство с mrjob [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit#slide=id.g115aabdacb8_0_166 tasks] [https://disk.yandex.ru/d/2a1VxyxscTJZRg code] | ||
| + | |||
| + | 6. '''17 февраля''' Практика работы с SQL [https://disk.yandex.ru/d/LIuVS63qDlFYow архив с заданием], [https://www.coursera.org/learn/python-for-web/programming/L7SA9/praktichieskoie-zadaniie-po-mysql/instructions источник архива (если авторские права, все дела)] [https://paiza.io/en/languages/mysql online editor] | ||
| + | |||
| + | 7. '''24 февраля''' Решение задач на pySpark [https://towardsdatascience.com/six-spark-exercises-to-rule-them-all-242445b24565 tasks] [https://colab.research.google.com/drive/1MbboO_wp1dD2gunn0CF_IdJeQRZxnoHx?usp=sharing colab] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame] | ||
==Домашнее задание== | ==Домашнее задание== | ||
Версия 23:38, 23 февраля 2023
Содержание
Записи занятий
https://disk.yandex.ru/d/jWp8yYwALIy8AQ
Вики-страница курса "Программирование на Python", 1 модуль
Лекции
Вторник 13:00 – 14:20, zoom
1. 10 января Модуль numpy. Основные операции для работы с numpy.array. презентация colab
2. 17 января Модуль pandas. series и работа с одним датафреймом colab, первый пункт
3. 24 января Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация colab colab performance
4. 31 января Визуализация данных в Python magic в jupyter matplotlib1 matplotlib2 pandas_plot plotly seaborn
5. 7 февраля Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация
6. 14 февраля Представление о реляционных базах данных. Основы языка SQL. Работа с таблицами в MySQL. презентация источник вдохновения скрипт для создания БД для MySQL
7. 21 февраля Spark презентация техносферы
Семинары
Пятница 13:00 – 14:20, zoom 222 (Денис) zoom 221 (Михаил)
1. 13 января Продолжение лекции по numpy colab
2. 20 января Решение задач на numpy упражнения отсюда начиная с 9го
3. 27 января Решение задач на pandas. Решение задач на применение функций к датафреймам, работу с несколькими датафреймами. Сравнение производительности операций задачи
4. 3 февраля Практика построения визуализаций с помощью matplotlib задачи
5. 10 февраля Практика построения визуализаций с помощью plotly. Знакомство с mrjob tasks code
6. 17 февраля Практика работы с SQL архив с заданием, источник архива (если авторские права, все дела) online editor
7. 24 февраля Решение задач на pySpark tasks colab Сравнение RDD и DataFrame
Домашнее задание
Сдача задач проводится в anytask, инвайты в закреплённом сообщении телеграм чата. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы.
Ваше задание может быть проверено и возвращено на доработку на усмотрение преподавателя.
1. numpy. Дедлайн 24.01.2022 10:30. Максимум без учёта бонусов – 10 баллов
2. pandas. Дедлайн 31.01.2022 10:30. Максимум без учёта бонусов – 10 баллов
3. join. Дедлайн 09.02.2022 10:30. Максимум без учёта бонусов – 10 баллов
4. visualization. Дедлайн 17.02.2022 13:00. Максимум без учёта бонусов – 10 баллов
5. sql. Дедлайн 28.02.2022 11:00. Максимум без учёта бонусов – 10 баллов
Оценивание
Накоп = МИНИМУМ((ДЗ1 + ДЗ2 + ДЗ3 + ДЗ4 + ДЗ5 + ДЗ6 + Пр) / 6, 10)
Итог = 0.7 * Накоп + 0.3 * экз
Автомат = Накоп если Накоп >= 6 и есть желание получить автомат
Рекомендуемая основная литература
1. Python для анализа данных – курс от МФТИ и Mail.Ru Group
2. Hadoop. Система для обработки больших объемов данных
3. Основы SQL – курс Андрея Созыкина
4. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop
5. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/
Рекомендуемая дополнительная литература
1. https://mrjob.readthedocs.io/en/latest/
2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.
