Python для сбора и анализа данных КНАД 23/24 — различия между версиями
Serggor (обсуждение | вклад) |
Serggor (обсуждение | вклад) |
||
| Строка 11: | Строка 11: | ||
==Лекции== | ==Лекции== | ||
| − | + | Среда 14:40 – 16:00 | |
1. '''15 января''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1YesaTO0I_Qzu1_J3uxNO1AlSNn7jmzWxtWFmwFNQjLU/edit?usp=sharing презентация] [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing colab] | 1. '''15 января''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1YesaTO0I_Qzu1_J3uxNO1AlSNn7jmzWxtWFmwFNQjLU/edit?usp=sharing презентация] [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing colab] | ||
| Строка 28: | Строка 28: | ||
8. '''2 марта''' Spark [https://docs.google.com/presentation/d/1fNK4BBOT0IGSvy2K0Vb_q8uGr68-88p8qPYG6Pce44E/edit?usp=sharing презентация] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame] | 8. '''2 марта''' Spark [https://docs.google.com/presentation/d/1fNK4BBOT0IGSvy2K0Vb_q8uGr68-88p8qPYG6Pce44E/edit?usp=sharing презентация] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame] | ||
| + | |||
| + | 9. '''6 марта''' FastAPI: введение, sqlalchemy, миграции БД с alembic [https://drive.google.com/file/d/1lRxfAyMLWGtppz2Ky9AMa2n2RlBZZjix/view?usp=sharing код] | ||
| + | |||
| + | 10. ''' 13 марта''' | ||
==Домашнее задание== | ==Домашнее задание== | ||
Версия 18:08, 6 марта 2024
Содержание
Записи занятий
Форма обратной связи. Можно заполнять когда угодно с любыми вопросами
Лекции
Среда 14:40 – 16:00
1. 15 января Модуль numpy. Основные операции для работы с numpy.array. презентация colab
2. 22 января Модуль pandas. series и работа с одним датафреймом colab, первый пункт
3. 26 января Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация colab colab performance magic в jupyter
4. 3 февраля Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn
5. 10 февраля Повторение основ языка SQL. Оконные функции. Продвинутые возможности работы с SQL: индексы, ограничения, views, транзакции, принципы ACID. презентация источник вдохновения
6. 17 февраля Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация
7. 24 февраля YARN, NoSQL, HBase презентация
8. 2 марта Spark презентация Сравнение RDD и DataFrame
9. 6 марта FastAPI: введение, sqlalchemy, миграции БД с alembic код
10. 13 марта
Домашнее задание
Сдача задач проводится в anytask, инвайты есть в телеграм канале курса. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы.
Ваше задание может быть проверено и возвращено на доработку на усмотрение преподавателя.
1. numpy. Дедлайн 01.02.2024 09:30. Максимум без учёта бонусов – 10 баллов
2. pandas. Дедлайн 08.02.2024 09:30. Максимум без учёта бонусов – 10 баллов
3. join. Дедлайн 17.02.2024 09:30. Максимум без учёта бонусов – 10 баллов
4. visualization. Дедлайн 24.02.2024 09:30. Максимум без учёта бонусов – 10 баллов
5. sql. Дедлайн 02.03.2024 09:30. Максимум без учёта бонусов – 10 баллов
6. spark. Дедлайн 11.03.2024 09:30. Максимум без учёта бонусов – 10 баллов
Оценивание
Накоп = МИНИМУМ((ДЗ1 + ДЗ2 + ДЗ3 + ДЗ4 + ДЗ5 + ДЗ6 + Пр) / 6, 10)
Итог = 0.7 * Накоп + 0.3 * экз
Автомат = Накоп если Накоп >= 6 и есть желание получить автомат
Рекомендуемая основная литература
1. Python для анализа данных – курс от МФТИ и Mail.Ru Group
2. Hadoop. Система для обработки больших объемов данных
3. Основы SQL – курс Андрея Созыкина
4. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop
5. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/
Рекомендуемая дополнительная литература
1. https://mrjob.readthedocs.io/en/latest/
2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.
