Python для сбора и анализа данных КНАД 24/25 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 17 промежуточных версии этого же участника)
Строка 17: Строка 17:
 
1. '''9 января.''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1YesaTO0I_Qzu1_J3uxNO1AlSNn7jmzWxtWFmwFNQjLU/edit?usp=sharing Презентация], [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing ноутбук].
 
1. '''9 января.''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1YesaTO0I_Qzu1_J3uxNO1AlSNn7jmzWxtWFmwFNQjLU/edit?usp=sharing Презентация], [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing ноутбук].
  
−
2. '''16 января.''' Модуль pandas. series и работа с одним датафреймом [https://colab.research.google.com/drive/1nd2r3t85U2jGrdms4z0WJ2UPW1G-YsPE?usp=sharing ноутбук]
+
2. '''16 января.''' Модуль pandas [https://colab.research.google.com/drive/1nd2r3t85U2jGrdms4z0WJ2UPW1G-YsPE?usp=sharing ноутбук][https://colab.research.google.com/drive/1RkmTX9RqT-qtdMMlUY_nBrPB_UO7ehU5?usp=sharing groupby/merge]  
  
−
3. '''23 января''' (предварительно) Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами [https://docs.google.com/presentation/d/1y6O6oh1QlT1kJFPQxM8Kn8xyrnl8_Q1SwCin15ZnkAg/edit?usp=sharing презентация] [https://colab.research.google.com/drive/1RkmTX9RqT-qtdMMlUY_nBrPB_UO7ehU5?usp=sharing colab] [https://colab.research.google.com/drive/1fPkewwXJHDL94Y1jr5hXq2dSvAPvb-9e?usp=sharing colab performance] [https://colab.research.google.com/drive/1T1njeWLQfkViLrF27G-JYS7ebkwxGioX?usp=sharing magic в jupyter]
+
3. '''23 января''' Параллельность: GIL, многопоточность, многопроцессность, синхронизация. [https://colab.research.google.com/drive/1XBNkerJ4RLSu3TLNH9KdBr4qoJQ-LVyO?usp=sharing#scrollTo=sST1YJbw5h-0 параллельность][https://colab.research.google.com/drive/1fPkewwXJHDL94Y1jr5hXq2dSvAPvb-9e?usp=sharing colab performance] [https://docs.google.com/presentation/d/1y6O6oh1QlT1kJFPQxM8Kn8xyrnl8_Q1SwCin15ZnkAg/edit?usp=sharing презентация]  
  
−
вместо 13.02.2025 2п (11:10-12:30) лекция будет 11.02.2025 1п (09:30-10:50)
+
4. '''30 января''' Визуализация данных в Python [https://colab.research.google.com/drive/1RpHTrG6KYo26af8OoIRHrcnJcsOcWGMT?usp=sharing matplotlib1] [https://colab.research.google.com/drive/1ozGNbCPTJ23wE9gXWVswT7ikCK73JJjL?usp=sharing matplotlib2]  [https://colab.research.google.com/drive/1rMBLCIIJLPCD9mLKSXgmnaYj33dxuoQt?usp=sharing pandas_plot] [https://colab.research.google.com/drive/1rcr8nLmpKjCxK8MtzLrYld4u4Vr2RoNY?usp=sharing plotly] [https://colab.research.google.com/drive/1X6PA89UHuz4n4zGamIqAu0orESROcoI4?usp=sharing seaborn]  [https://colab.research.google.com/drive/1T1njeWLQfkViLrF27G-JYS7ebkwxGioX?usp=sharing magic в jupyter]
 +
 
 +
5. '''6 февраля''' Работа с базами данных [https://colab.research.google.com/drive/1Ac4e-Xaby3iNnYHQ-lHzhW3aN8Ww3v88?usp=sharing colab] [https://docs.google.com/presentation/d/1Q78okPzXqGA3eqlKKokOV3srVLwp7QIolq-4CsF9TGk/edit#slide=id.g223715285da_0_0 Слайды]
 +
 
 +
6. '''11 февраля''' MapReduce, Hadoop, HDFS, YARN [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация] [https://docs.google.com/presentation/d/1Ir4HCOM-EFXD3MUhf7YZmBObCzfJznwDQvIN9tVXzFQ/edit?usp=sharing YARN]
 +
 
 +
7. '''20 февраля''' Spark [https://docs.google.com/presentation/d/1fNK4BBOT0IGSvy2K0Vb_q8uGr68-88p8qPYG6Pce44E/edit?usp=sharing презентация] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame]
 +
 
 +
8. '''27 февраля''' FastAPI: первое приложение, миграции баз данных [https://disk.yandex.ru/d/IEffF3X8Cb2XcQ код]
 +
 
 +
9. '''6 марта''' FastAPI: redis/celery, dependencies [https://disk.yandex.ru/d/k7n_sDIkWd0RfQ код]
 +
 
 +
10. '''13 марта''' FastAPI: авторизация, взаимодействие с базами данных  [https://disk.yandex.ru/d/Pm-MhnCL7Dkzig код] [https://github.com/hse-ai/applied_python/tree/main/fastapi-booking очень похожий код на гитхабе]
  
  
 
==Семинары==
 
==Семинары==
−
Код семинаров группы 222 [https://github.com/ivan-digital/python_data_analysis_2025 github]
+
Код семинаров группы 241 [https://github.com/TriariiMisha/hse_python_for_analysis github]
 +
Код семинаров группы 242 [https://github.com/ivan-digital/python_data_analysis_2025 github]
  
 
==Домашнее задание==
 
==Домашнее задание==
Строка 36: Строка 49:
  
 
2. [https://colab.research.google.com/drive/1CWFPDleJQdv_eG_yRYXBOs9Aj7-osVAG?usp=sharing pandas]. Дедлайн 24.01.2024 23:59. Максимум без учёта бонусов – 10 баллов
 
2. [https://colab.research.google.com/drive/1CWFPDleJQdv_eG_yRYXBOs9Aj7-osVAG?usp=sharing pandas]. Дедлайн 24.01.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
3. [https://colab.research.google.com/drive/1Y0L_dyTWsNpby35OfzDYBLWIN7vxy_sw?usp=sharing join]. Дедлайн 31.01.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
4. [https://colab.research.google.com/drive/1dKV1Y4iYIJtM83vfA9tAU9ctKzGDF0To?usp=sharing visualization]. Дедлайн 07.02.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
5. [https://colab.research.google.com/drive/1V7H2BGFAK1b2dCNH1dVcPtMkqbN_dpCp?usp=sharing sql]. Дедлайн 14.02.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
6. [https://colab.research.google.com/drive/1X-GOiFo9OMqL3-42AXj3cQBxVDSUj7A2?usp=sharing spark]. Дедлайн 05.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
7. [https://colab.research.google.com/drive/1CK1YnsJPe9Zc89Fkra_1fk9ad_KRWxOg?usp=sharing streamlit]. Дедлайн 16.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
8. [https://t.me/c/2265151059/2/193 fastapi]. Дедлайн 22.03.2024 23:59. Жёсткий дедлайн 27.03.2024 23:59.  Максимум без учёта бонусов – 10 баллов
 +
 +
Ко всем заданиям применяется система мягких и жестких дедлайнов. Мягкий указан выше, жёсткий = мягкий + трое суток.
  
 
==Оценивание==
 
==Оценивание==

Текущая версия на 05:49, 14 марта 2025

Записи занятий

Все записи курса

Чат и канал курса

Вики-страница прошлого года

Форма обратной связи. Можно заполнять когда угодно с любыми вопросами

Курс 1 модуля

Лекции

Четверг 11:10 – 12:30

1. 9 января. Модуль numpy. Основные операции для работы с numpy.array. Презентация, ноутбук.

2. 16 января. Модуль pandas ноутбукgroupby/merge

3. 23 января Параллельность: GIL, многопоточность, многопроцессность, синхронизация. параллельностьcolab performance презентация

4. 30 января Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn magic в jupyter

5. 6 февраля Работа с базами данных colab Слайды

6. 11 февраля MapReduce, Hadoop, HDFS, YARN презентация YARN

7. 20 февраля Spark презентация Сравнение RDD и DataFrame

8. 27 февраля FastAPI: первое приложение, миграции баз данных код

9. 6 марта FastAPI: redis/celery, dependencies код

10. 13 марта FastAPI: авторизация, взаимодействие с базами данных код очень похожий код на гитхабе


Семинары

Код семинаров группы 241 github Код семинаров группы 242 github

Домашнее задание

Сдача задач проводится в anytask, инвайты будут в телеграм канале курса. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение платформы, оно больше, чем наш максимум, ибо в него входят бонусные баллы.

Ваше задание может быть проверено и возвращено на доработку на усмотрение проверяющего.

1. numpy. Дедлайн 18.01.2024 23:59. Максимум без учёта бонусов – 10 баллов

2. pandas. Дедлайн 24.01.2024 23:59. Максимум без учёта бонусов – 10 баллов

3. join. Дедлайн 31.01.2024 23:59. Максимум без учёта бонусов – 10 баллов

4. visualization. Дедлайн 07.02.2024 23:59. Максимум без учёта бонусов – 10 баллов

5. sql. Дедлайн 14.02.2024 23:59. Максимум без учёта бонусов – 10 баллов

6. spark. Дедлайн 05.03.2024 23:59. Максимум без учёта бонусов – 10 баллов

7. streamlit. Дедлайн 16.03.2024 23:59. Максимум без учёта бонусов – 10 баллов

8. fastapi. Дедлайн 22.03.2024 23:59. Жёсткий дедлайн 27.03.2024 23:59. Максимум без учёта бонусов – 10 баллов

Ко всем заданиям применяется система мягких и жестких дедлайнов. Мягкий указан выше, жёсткий = мягкий + трое суток.

Оценивание

Накоп = МИНИМУМ((ДЗ1 + ДЗ2 + ДЗ3 + ДЗ4 + ДЗ5 + ДЗ6 + ДЗ7 + ДЗ8) / 8, 10)

Итог = 0.7 * Накоп + 0.3 * экз

Автомат = Накоп если Накоп >= 6 и есть желание получить автомат


Рекомендуемая основная литература

1. Hadoop. Система для обработки больших объемов данных

2. Основы SQL – курс Андрея Созыкина

3. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop

4. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/

Рекомендуемая дополнительная литература

1. https://mrjob.readthedocs.io/en/latest/

2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.

3. https://vk.com/itcookies/python

4. О функции apply в pandas

Источник — «http://wiki.cs.hse.ru/index.php?title=Python_для_сбора_и_анализа_данных_КНАД_24/25&oldid=90163»