Python для сбора и анализа данных КНАД 24/25 — различия между версиями
Serggor (обсуждение | вклад) |
Serggor (обсуждение | вклад) |
||
| (не показана одна промежуточная версия этого же участника) | |||
| Строка 29: | Строка 29: | ||
7. '''20 февраля''' Spark [https://docs.google.com/presentation/d/1fNK4BBOT0IGSvy2K0Vb_q8uGr68-88p8qPYG6Pce44E/edit?usp=sharing презентация] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame] | 7. '''20 февраля''' Spark [https://docs.google.com/presentation/d/1fNK4BBOT0IGSvy2K0Vb_q8uGr68-88p8qPYG6Pce44E/edit?usp=sharing презентация] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame] | ||
| − | 8. '''27 февраля''' FastAPI, миграции баз данных [https://disk.yandex.ru/d/IEffF3X8Cb2XcQ код] | + | 8. '''27 февраля''' FastAPI: первое приложение, миграции баз данных [https://disk.yandex.ru/d/IEffF3X8Cb2XcQ код] |
| − | 9. '''6 марта''' FastAPI | + | 9. '''6 марта''' FastAPI: redis/celery, dependencies [https://disk.yandex.ru/d/k7n_sDIkWd0RfQ код] |
| + | |||
| + | 10. '''13 марта''' FastAPI: авторизация, взаимодействие с базами данных [https://disk.yandex.ru/d/Pm-MhnCL7Dkzig код] [https://github.com/hse-ai/applied_python/tree/main/fastapi-booking очень похожий код на гитхабе] | ||
| Строка 56: | Строка 58: | ||
6. [https://colab.research.google.com/drive/1X-GOiFo9OMqL3-42AXj3cQBxVDSUj7A2?usp=sharing spark]. Дедлайн 05.03.2024 23:59. Максимум без учёта бонусов – 10 баллов | 6. [https://colab.research.google.com/drive/1X-GOiFo9OMqL3-42AXj3cQBxVDSUj7A2?usp=sharing spark]. Дедлайн 05.03.2024 23:59. Максимум без учёта бонусов – 10 баллов | ||
| − | 7. [https://colab.research.google.com/drive/1CK1YnsJPe9Zc89Fkra_1fk9ad_KRWxOg?usp=sharing streamlit]. Дедлайн | + | 7. [https://colab.research.google.com/drive/1CK1YnsJPe9Zc89Fkra_1fk9ad_KRWxOg?usp=sharing streamlit]. Дедлайн 16.03.2024 23:59. Максимум без учёта бонусов – 10 баллов |
| + | |||
| + | 8. [https://t.me/c/2265151059/2/193 fastapi]. Дедлайн 22.03.2024 23:59. Жёсткий дедлайн 27.03.2024 23:59. Максимум без учёта бонусов – 10 баллов | ||
Ко всем заданиям применяется система мягких и жестких дедлайнов. Мягкий указан выше, жёсткий = мягкий + трое суток. | Ко всем заданиям применяется система мягких и жестких дедлайнов. Мягкий указан выше, жёсткий = мягкий + трое суток. | ||
Текущая версия на 05:49, 14 марта 2025
Содержание
Записи занятий
Форма обратной связи. Можно заполнять когда угодно с любыми вопросами
Лекции
Четверг 11:10 – 12:30
1. 9 января. Модуль numpy. Основные операции для работы с numpy.array. Презентация, ноутбук.
2. 16 января. Модуль pandas ноутбукgroupby/merge
3. 23 января Параллельность: GIL, многопоточность, многопроцессность, синхронизация. параллельностьcolab performance презентация
4. 30 января Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn magic в jupyter
5. 6 февраля Работа с базами данных colab Слайды
6. 11 февраля MapReduce, Hadoop, HDFS, YARN презентация YARN
7. 20 февраля Spark презентация Сравнение RDD и DataFrame
8. 27 февраля FastAPI: первое приложение, миграции баз данных код
9. 6 марта FastAPI: redis/celery, dependencies код
10. 13 марта FastAPI: авторизация, взаимодействие с базами данных код очень похожий код на гитхабе
Семинары
Код семинаров группы 241 github Код семинаров группы 242 github
Домашнее задание
Сдача задач проводится в anytask, инвайты будут в телеграм канале курса. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение платформы, оно больше, чем наш максимум, ибо в него входят бонусные баллы.
Ваше задание может быть проверено и возвращено на доработку на усмотрение проверяющего.
1. numpy. Дедлайн 18.01.2024 23:59. Максимум без учёта бонусов – 10 баллов
2. pandas. Дедлайн 24.01.2024 23:59. Максимум без учёта бонусов – 10 баллов
3. join. Дедлайн 31.01.2024 23:59. Максимум без учёта бонусов – 10 баллов
4. visualization. Дедлайн 07.02.2024 23:59. Максимум без учёта бонусов – 10 баллов
5. sql. Дедлайн 14.02.2024 23:59. Максимум без учёта бонусов – 10 баллов
6. spark. Дедлайн 05.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
7. streamlit. Дедлайн 16.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
8. fastapi. Дедлайн 22.03.2024 23:59. Жёсткий дедлайн 27.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
Ко всем заданиям применяется система мягких и жестких дедлайнов. Мягкий указан выше, жёсткий = мягкий + трое суток.
Оценивание
Накоп = МИНИМУМ((ДЗ1 + ДЗ2 + ДЗ3 + ДЗ4 + ДЗ5 + ДЗ6 + ДЗ7 + ДЗ8) / 8, 10)
Итог = 0.7 * Накоп + 0.3 * экз
Автомат = Накоп если Накоп >= 6 и есть желание получить автомат
Рекомендуемая основная литература
1. Hadoop. Система для обработки больших объемов данных
2. Основы SQL – курс Андрея Созыкина
3. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop
4. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/
Рекомендуемая дополнительная литература
1. https://mrjob.readthedocs.io/en/latest/
2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.
