Python для сбора и анализа данных КНАД 23/24 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 15 промежуточных версии этого же участника)
Строка 4: Строка 4:
  
 
[http://wiki.cs.hse.ru/Python_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B1%D0%BE%D1%80%D0%B0_%D0%B8_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%9A%D0%9D%D0%90%D0%94_22/23 Вики-страница прошлого года]
 
[http://wiki.cs.hse.ru/Python_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B1%D0%BE%D1%80%D0%B0_%D0%B8_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%9A%D0%9D%D0%90%D0%94_22/23 Вики-страница прошлого года]
 +
 +
[https://forms.gle/kkdjxK5n7Jr9t6xh8 Форма обратной связи. Можно заполнять когда угодно с любыми вопросами]
  
 
[http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BD%D0%B0_Python_%D0%9A%D0%9D%D0%90%D0%94_23/24 Курс 1 модуля]
 
[http://wiki.cs.hse.ru/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BD%D0%B0_Python_%D0%9A%D0%9D%D0%90%D0%94_23/24 Курс 1 модуля]
Строка 9: Строка 11:
 
==Лекции==
 
==Лекции==
  
−
Понедельник 11:10 – 12:30
+
Среда 14:40 – 16:00
  
 
1. '''15 января''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1YesaTO0I_Qzu1_J3uxNO1AlSNn7jmzWxtWFmwFNQjLU/edit?usp=sharing презентация] [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing colab]
 
1. '''15 января''' Модуль numpy. Основные операции для работы с numpy.array. [https://docs.google.com/presentation/d/1YesaTO0I_Qzu1_J3uxNO1AlSNn7jmzWxtWFmwFNQjLU/edit?usp=sharing презентация] [https://colab.research.google.com/drive/1ji_2UDhQFlvq6sDUm6XObR8IGg-KCCM9?usp=sharing colab]
Строка 20: Строка 22:
  
 
5. '''10 февраля''' Повторение основ языка SQL. Оконные функции. Продвинутые возможности работы с SQL: индексы, ограничения, views, транзакции, принципы ACID. [https://docs.google.com/presentation/d/1btWIVN_hs8n_y-46JgH8mZGB4Ohh9Mxh3ByOv_G6f70/edit?usp=sharing презентация] [https://www.asozykin.ru/courses/sql источник вдохновения]
 
5. '''10 февраля''' Повторение основ языка SQL. Оконные функции. Продвинутые возможности работы с SQL: индексы, ограничения, views, транзакции, принципы ACID. [https://docs.google.com/presentation/d/1btWIVN_hs8n_y-46JgH8mZGB4Ohh9Mxh3ByOv_G6f70/edit?usp=sharing презентация] [https://www.asozykin.ru/courses/sql источник вдохновения]
 +
 +
6. '''17 февраля''' Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS [https://docs.google.com/presentation/d/1pDJ4nzHIpkUQo1e5AxMc6tZLV6Ut-0KCxGneuyUs9FQ/edit?usp=sharing презентация]
 +
 +
7. '''24 февраля''' YARN, NoSQL, HBase [https://docs.google.com/presentation/d/1Ir4HCOM-EFXD3MUhf7YZmBObCzfJznwDQvIN9tVXzFQ/edit?usp=sharing презентация]
 +
 +
8. '''2 марта''' Spark [https://docs.google.com/presentation/d/1fNK4BBOT0IGSvy2K0Vb_q8uGr68-88p8qPYG6Pce44E/edit?usp=sharing презентация] [https://www.bigdataschool.ru/blog/what-to-use-in-spark-rdd-vs-dataframe-vs-dataset.html Сравнение RDD и DataFrame]
 +
 +
9. '''6 марта''' FastAPI: введение, sqlalchemy, миграции БД с alembic [https://drive.google.com/file/d/1lRxfAyMLWGtppz2Ky9AMa2n2RlBZZjix/view?usp=sharing код]
 +
 +
10. ''' 13 марта''' FastAPI: роутеры, ORM, redis, celery, тестирование [https://drive.google.com/file/d/19cMdFXXd_G7BuuCg_L8lHsS_d55CAygz/view?usp=sharing код]
  
 
==Домашнее задание==
 
==Домашнее задание==
Строка 34: Строка 46:
  
 
4. [https://colab.research.google.com/drive/1dKV1Y4iYIJtM83vfA9tAU9ctKzGDF0To?usp=sharing visualization]. Дедлайн 24.02.2024 09:30. Максимум без учёта бонусов – 10 баллов
 
4. [https://colab.research.google.com/drive/1dKV1Y4iYIJtM83vfA9tAU9ctKzGDF0To?usp=sharing visualization]. Дедлайн 24.02.2024 09:30. Максимум без учёта бонусов – 10 баллов
 +
 +
5. [https://colab.research.google.com/drive/1vjSx5RHZKMYE_p6zt4qFPZeww8DH0Ipk?usp=sharing sql]. Дедлайн 02.03.2024 09:30. Максимум без учёта бонусов – 10 баллов
 +
 +
6. [https://colab.research.google.com/drive/1zo7YlsjQ_eksK-hYXR631YfyVL4VlOhb?usp=sharing spark]. Дедлайн 12.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
 +
 +
[Бонус] [https://t.me/c/2079542862/4/577 fastapi]. Дедлайн 20.03.2024 23:59. Максимум без учёта бонусов – 10 баллов
  
 
==Оценивание==
 
==Оценивание==
Строка 42: Строка 60:
  
 
Автомат = Накоп если Накоп >= 6 и есть желание получить автомат
 
Автомат = Накоп если Накоп >= 6 и есть желание получить автомат
 +
 +
[https://docs.google.com/spreadsheets/d/1r8THyDF684zzY0dTgyA1NU0OO_BBUnw7K92xNF_nhQw/edit?usp=sharing Оценки]
  
 
==Рекомендуемая основная литература==
 
==Рекомендуемая основная литература==

Текущая версия на 17:40, 31 марта 2024

Записи занятий

Все записи

Вики-страница прошлого года

Форма обратной связи. Можно заполнять когда угодно с любыми вопросами

Курс 1 модуля

Лекции

Среда 14:40 – 16:00

1. 15 января Модуль numpy. Основные операции для работы с numpy.array. презентация colab

2. 22 января Модуль pandas. series и работа с одним датафреймом colab, первый пункт

3. 26 января Вопросы производительности. GIL. Работа в Pandas с несколькими таблицами презентация colab colab performance magic в jupyter

4. 3 февраля Визуализация данных в Python matplotlib1 matplotlib2 pandas_plot plotly seaborn

5. 10 февраля Повторение основ языка SQL. Оконные функции. Продвинутые возможности работы с SQL: индексы, ограничения, views, транзакции, принципы ACID. презентация источник вдохновения

6. 17 февраля Общее представление о MapReduce задачах, экосистеме Hadoop, HDFS презентация

7. 24 февраля YARN, NoSQL, HBase презентация

8. 2 марта Spark презентация Сравнение RDD и DataFrame

9. 6 марта FastAPI: введение, sqlalchemy, миграции БД с alembic код

10. 13 марта FastAPI: роутеры, ORM, redis, celery, тестирование код

Домашнее задание

Сдача задач проводится в anytask, инвайты есть в телеграм канале курса. Максимум за одно дз – 10 баллов, по решению проверяющего могут быть добавлены бонусные баллы за изящные решения. Указанный в anytask максимальный балл – чисто формальное ограничение, оно больше, чем наш максимум, ибо в него входят бонусные баллы.

Ваше задание может быть проверено и возвращено на доработку на усмотрение преподавателя.

1. numpy. Дедлайн 01.02.2024 09:30. Максимум без учёта бонусов – 10 баллов

2. pandas. Дедлайн 08.02.2024 09:30. Максимум без учёта бонусов – 10 баллов

3. join. Дедлайн 17.02.2024 09:30. Максимум без учёта бонусов – 10 баллов

4. visualization. Дедлайн 24.02.2024 09:30. Максимум без учёта бонусов – 10 баллов

5. sql. Дедлайн 02.03.2024 09:30. Максимум без учёта бонусов – 10 баллов

6. spark. Дедлайн 12.03.2024 23:59. Максимум без учёта бонусов – 10 баллов

[Бонус] fastapi. Дедлайн 20.03.2024 23:59. Максимум без учёта бонусов – 10 баллов

Оценивание

Накоп = МИНИМУМ((ДЗ1 + ДЗ2 + ДЗ3 + ДЗ4 + ДЗ5 + ДЗ6 + Пр) / 6, 10)

Итог = 0.7 * Накоп + 0.3 * экз

Автомат = Накоп если Накоп >= 6 и есть желание получить автомат

Оценки

Рекомендуемая основная литература

1. Python для анализа данных – курс от МФТИ и Mail.Ru Group

2. Hadoop. Система для обработки больших объемов данных

3. Основы SQL – курс Андрея Созыкина

4. Курс Техносферы Методы распределенной обработки больших объемов данных в Hadoop

5. https://numpy.org/, https://pandas.pydata.org/, https://matplotlib.org/

Рекомендуемая дополнительная литература

1. https://mrjob.readthedocs.io/en/latest/

2. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi.

3. https://vk.com/itcookies/python

4. О функции apply в pandas

Источник — «http://wiki.cs.hse.ru/index.php?title=Python_для_сбора_и_анализа_данных_КНАД_23/24&oldid=84406»