Основы анализа и визуализация данных для медиа 2019/2020 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показаны 54 промежуточные версии этого же участника)
Строка 23: Строка 23:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Неделя !! № !! Тема !! Файлы !! ДЗ
+
! Неделя !! № !! Тема !! Презентациии !! Файлы
 
|-
 
|-
 
| 2-8 сентября || Лекции 1-2 || Введение. Статистические данные и журналистика. || [https://docs.google.com/presentation/d/1kv7Jq1sMCdVVeXvxMtmn2FIPpzFWbZuLH5GgnZkEjac/edit?usp=sharing Лекции 1-2] || NA   
 
| 2-8 сентября || Лекции 1-2 || Введение. Статистические данные и журналистика. || [https://docs.google.com/presentation/d/1kv7Jq1sMCdVVeXvxMtmn2FIPpzFWbZuLH5GgnZkEjac/edit?usp=sharing Лекции 1-2] || NA   
Строка 33: Строка 33:
 
| 9-15 сентября || Лекция 4 || Введение в визуализацию данных. || [https://docs.google.com/presentation/d/1lA1aANKes8ioRJdhooiICzWIKQqjgLLJ1kwuiz63qVM/edit?usp=sharing Лекция 4] || NA  
 
| 9-15 сентября || Лекция 4 || Введение в визуализацию данных. || [https://docs.google.com/presentation/d/1lA1aANKes8ioRJdhooiICzWIKQqjgLLJ1kwuiz63qVM/edit?usp=sharing Лекция 4] || NA  
 
|-
 
|-
−
| 9-15 сентября || Семинар 2 || Меры центральной тенденции и разброса. Работа с таблицами в Excel || [https://docs.google.com/presentation/d/1RLqTZUz5ewfcXJMXd4w-UNEN0FWDJp18QORybtAMsnY/edit?usp=sharing Семинар 2] [https://www.kaggle.com/c/titanic/discussion/28323 Excel Tutorial Titanic] [https://github.com/rogovich/2019-2020_PolSci_Data_Analysis_in_Python/blob/master/titanic.csv Titanic Data] || NA  
+
| 9-15 сентября || Семинар 2 || Меры центральной тенденции. Работа с таблицами в Excel || [https://docs.google.com/presentation/d/1RLqTZUz5ewfcXJMXd4w-UNEN0FWDJp18QORybtAMsnY/edit?usp=sharing Семинар 2] [https://www.kaggle.com/c/titanic/discussion/28323 Excel Tutorial Titanic] || [https://github.com/rogovich/2019-2020_PolSci_Data_Analysis_in_Python/blob/master/titanic.csv Titanic Data]
 +
|-
 +
| 16-22 сентября || Лекции 5-6 || Принципы хорошей визуализации по Э. Тафти. Психологоческие особенности визуального восприятия. Лучшие практики работы с основными видами графиков. || [https://docs.google.com/presentation/d/1YKF1s4FRrytZrNaPNjcHgyfwvf7-84VYb-mOhY--UW4/edit?usp=sharing Лекции 5-6] || NA
 +
|-
 +
| 16-22 сентября || Семинар 3 || Меры разброса. Начало работы с Tableau Public|| [https://docs.google.com/presentation/d/1-k7aqWRkmMBipwKi_awdkrmaFLoIuqphUPYVReudn88/edit?usp=sharing Семинар 3]  || [https://github.com/rogovich/2019-2020_PolSci_Data_Analysis_in_Python/blob/master/2week_Pandas_Intro_Titanic/train.csv Titanic Data] [https://youtu.be/TPMlZxRRaBQ?t=521 Tutorial по работе с титаником в tableau (c 8 минуты)]
 +
|-
 +
| 23-29 сентября || Лекция 7 || Корреляция. Тестирование гипотез на разность средних значений || [https://docs.google.com/presentation/d/1X6LjX8pnAItn7mA0NY8qSnsMaDaLCucl4xLQa_4Mj34/edit?usp=sharing Лекция 7 НЕ НУЖНО ДЛЯ КОНТРОЛЬНОЙ]
 +
[https://docs.google.com/presentation/d/1bjINglflZeYzUgWRLPPwVkC5KXqqY7zCKLH8MJ7H9Ew/edit?usp=sharing Часть лекции 7 про тестирование гипотез (разница между средними выборок). НУЖНО ДЛЯ КОНТРОЛЬНОЙ!] || NA
 +
|-
 +
| 23-29 сентября || Семинар 5 || Введение в Tableau. Базовые типы графиков || [https://public.tableau.com/views/Seminar5Journ/11waytoshowthesamedata?:embed=y&:display_count=yes&:origin=viz_share_link Книга Tableau Семинара 5] || [https://data.cityofnewyork.us/City-Government/DSNY-Monthly-Tonnage-Data/ebb7-mvp5 NY garbage data]
 +
|-
 +
| 30 сентября-6 октября || Семинар 6 || Работа с барчартами в Tableau. Использование переменных из нескольких файлов.  Создание дашборда || [https://public.tableau.com/profile/tatiana4360#!/vizhome/Seminar6Journ/QueensRecyling Книга Семинара 6] || [https://data.cityofnewyork.us/City-Government/DSNY-Monthly-Tonnage-Data/ebb7-mvp5 NY garbage data] [https://www.dropbox.com/s/dory8jdzb0doutc/CDWT_ch4_NYCDistrictPop.xlsx Сensus Data] 
 +
|-
 +
| 7-13 октября || Семинар 7 || Работа с линейными графиками. Самостоятельная работа || [https://docs.google.com/document/d/10Frhm9ow4kwEwI9fVIj1pWM7l0GyiuUobxkWLNegKVE/edit?usp=sharing Задания для упражнения] || [https://www.ssa.gov/oact/babynames/limits.html Данные по именам новорожденных] [https://drive.google.com/open?id=1u7Sp4sYNEKd0NlygfTme-jPB1tzcsmQm Moscow flats] [https://drive.google.com/open?id=166satiKbCRMqkX63mPUYanUPiaZye_ra US Crimes] [https://public.tableau.com/profile/eddie.hartman#!/vizhome/Names_16/BabyNames Пример визуализации 1] [https://public.tableau.com/en-us/gallery/over-100-years-us-baby-names Пример визуализации 2]
 +
|-
 +
| 14-20 октября || Семинар 8 || Решаем пробный вариант контрольной работы  || [https://forms.gle/LjihSrLccJLmc77S8 Группа 1634-164] [https://forms.gle/Vk69rZSv2j7pYEbA7 Группа 161-162] || [https://drive.google.com/file/d/1np0VbtQAA9dHsPngmDydaJ2Xb2F1j4M6/view?usp=sharing Данные]
 +
|-
 +
| 14-20 октября || Семинар 9 || Графики рассеяния и карты: Gapminder. Вкладка Pages. Другие типы визуализаций. || [https://medium.com/analytics-vidhya/recreating-gapminder-in-tableau-a-humble-tribute-to-hans-rosling-53de74b18ec Gapminder Tutorial] [https://www.axios.com/before-media-firestorms-decades-of-assaults-1513306321-2b286621-cb77-498c-932d-2ffe60a16b94.html Axios Sexual Misconduct Visualisation] || [https://docs.google.com/spreadsheets/d/10CWJHTzvGtkQgyz5bdkolz1KeZLqq7sYqNA3zQaPlYo/edit#gid=1175970372 Sexual Misconduct Data] [https://docs.google.com/spreadsheets/d/1NB7hAS6Ebspa6J6Sxn32utjR1ghgeBhAcHH1-urqpj0/edit#gid=0 Axios Misconduct Data] [https://github.com/parulnith/Recreating-Gapminder-in-Tableau/tree/master/data Gapminder Data] [https://drive.google.com/file/d/15Z3KfAbKquMS_GPELKV1zMm_YSv5kG6c/view?usp=sharing Данные по суицидам] [https://drive.google.com/file/d/1tEHTg0eZwbnXTbuVEdU6tblXIPKlzvqM/view?usp=sharing Tooltip view example]
 +
|-
 +
| 14-20 октября || Семинар 10 || Самостоятельная в Tableau || ||
 
|-
 
|-
 
|}
 
|}
  
−
=== Семинар 1. Видео по работе в Excel с Титаником ===
+
=== Видео 1 Работаем в Excel с Титаником ===
 
[https://github.com/rogovich/2019-2020_PolSci_Data_Analysis_in_Python/blob/master/titanic.csv Titanic Data]
 
[https://github.com/rogovich/2019-2020_PolSci_Data_Analysis_in_Python/blob/master/titanic.csv Titanic Data]
  
Строка 46: Строка 65:
 
* [https://youtu.be/ThckARmva6E Подсчет медианы и моды]
 
* [https://youtu.be/ThckARmva6E Подсчет медианы и моды]
 
* [https://youtu.be/mX0MyLdLnKc Среднее арифметическое для подсчета пропорций бинарной переменной]
 
* [https://youtu.be/mX0MyLdLnKc Среднее арифметическое для подсчета пропорций бинарной переменной]
 +
 +
=== Видео 2 Работаем в Tableau с Титаником ===
 +
[https://github.com/rogovich/2019-2020_PolSci_Data_Analysis_in_Python/blob/master/titanic.csv Titanic Data]
 +
 +
[https://public.tableau.com/views/Titanic2_15709126309330/sheet5?:embed=y&:display_count=yes&:origin=viz_share_link Tableau файл по итогам видео]
 +
 +
[https://www.youtube.com/watch?v=AXc5fuZ5LT4&feature=youtu.be Видео: Titanic Tableau Tutorial. Введение в интерфейс Tableau]
 +
 +
=== Видео 3 NY Garbage Data - одни данные, разные графики ===
 +
[https://data.cityofnewyork.us/City-Government/DSNY-Monthly-Tonnage-Data/ebb7-mvp5 Garbage Data]
 +
 +
[https://public.tableau.com/views/video_NYgarbage_VariousPlots/1_BarChart?:embed=y&:display_count=yes&:origin=viz_share_link Tableau файл по итогам видео]
 +
 +
[https://www.youtube.com/watch?v=agQQun-LB9g&feature=youtu.be Видео: создаем разные графики по двум переменным. Кратко говорим о дашбордах]
 +
 +
=== Видео 4 NY Garbage Data - делаем дашборд про Queens ===
 +
[https://data.cityofnewyork.us/City-Government/DSNY-Monthly-Tonnage-Data/ebb7-mvp5 Garbage Data]
 +
[https://www.dropbox.com/s/dory8jdzb0doutc/CDWT_ch4_NYCDistrictPop.xlsx Census Data]
 +
 +
[https://public.tableau.com/views/video_Rate_Ratio/HowdoesQueensrecycle?:embed=y&:display_count=yes&publish=yes&:origin=viz_share_link Tableau файл по итогам видео]
 +
 +
[https://www.youtube.com/watch?v=kxmHSbRLZRs&feature=youtu.be Видео: считаем пропорции. Создаем индекс и ранжирование. Считаем значения на душу населения. Делаем небольшой дашборд про Queens]
 +
 +
=== Видео 5 Baby Names - работаем с линейными графиками. Фильтры и контекст Добавляем подписи. ===
 +
[https://public.tableau.com/profile/tatiana4360#!/vizhome/Video_BabyNames/Sheet8?publish=yes Tableau файл по итогам видео]
 +
 +
[https://www.ssa.gov/oact/babynames/limits.html Данные. National data]
 +
 +
[https://www.youtube.com/watch?v=57-OeOsT8yc&feature=youtu.be Видео: линейные графики. Фильтры и контекст. ВАЖНО]
 +
 +
=== Видео 6 US Crimes - Мультивариативные графики рассеяния и интерпретация регрессии. ===
 +
[https://drive.google.com/file/d/166satiKbCRMqkX63mPUYanUPiaZye_ra/view Данные]
 +
 +
[https://www.youtube.com/watch?v=uioVnkCNZek&feature=youtu.be Видео: мультивариативный график. Анализ регрессии и коэффицента корелляции]
 +
 +
=== Видео 7 Moscow Flats - Решение самостоятельного задания. ===
 +
[https://drive.google.com/file/d/1u7Sp4sYNEKd0NlygfTme-jPB1tzcsmQm/view Данные]
 +
 +
[https://docs.google.com/document/d/10Frhm9ow4kwEwI9fVIj1pWM7l0GyiuUobxkWLNegKVE/edit?usp=sharing Задания]
 +
 +
[https://www.youtube.com/watch?v=99rPOzq3Q40&feature=youtu.be Видео: решение самостоятельного задания Moscow Flats]
 +
 +
=== Видео 8 Life Expectancy - Решение Mock Test. ===
 +
 +
[https://youtu.be/mYQwLBN42PI Видео: Решение Mock Test]
  
 
===Контрольные работы и презентации===
 
===Контрольные работы и презентации===
Строка 52: Строка 116:
 
! Дата !! Тема !! Файлы !! Оценки
 
! Дата !! Тема !! Файлы !! Оценки
 
|-
 
|-
−
| TBA || Письменная контрольная работа по статистике || ||
+
| 2 октября 10.30 || Письменная контрольная работа по статистике || [https://docs.google.com/document/d/1ghshjmjQBJyl8S2mDkQSK2V_mj8AyPCu-y7ZgNr4Pk8/edit Пробный вариант] ||
 
|-
 
|-
−
| TBA || Презентация плохой визуализации || ||  
+
| 1,  8 октября и 2, 10 октября по записи  || Презентация плохой визуализации || [https://docs.google.com/spreadsheets/d/1SzuoI7ZVEVqgpMs7taDNyW4EnGeM3e5oHS6Ck1cQDO0/edit Ссылка на запись] ||  
 
|-
 
|-
−
| TBA || Контрольная в Tableau || ||  
+
| 14 октября в 12.10 и 13.40 || Контрольная в Tableau || ||  
 
|-
 
|-
  
Строка 62: Строка 126:
  
 
===Экзамен===
 
===Экзамен===
−
TBA
+
[https://docs.google.com/document/d/1l0fCBuIeIvmuw7KlycFWlg6oFt-SvzGeie-GBuhahC8/edit?usp=sharing Информация о экзамене и дедлайны]
 +
[https://docs.google.com/document/d/14QYNVGocthsh47mrqswD-g0CeKXN3IFCYae7NL2WQxg/edit Хорошие источники данных]
 +
 
 +
'''Дедлайн утверждения темы: 16 октября 23:59 в ЛМС
 +
'''
 +
 
 +
'''Дедлайн сдачи проекта: 23 октября 23.59 в ЛМС
 +
'''
 +
 
 +
'''Защита проекта: 24 октября
 +
'''
 +
== Формула оценивания ==
 +
Окончательная оценка = Округление(0.6 * (КР1 + КР2)/2 + 0.15 * ДЗ1 + 0.25 * Проект)
 +
 
 +
[https://docs.google.com/spreadsheets/d/1c205KtZ-BBFNzoaV4ChsvqDHYHMGRXtP6MzS9X5yglU/edit?usp=sharing Промежуточная аттестация]
  
 
== Список рекомендуемой литературы ==
 
== Список рекомендуемой литературы ==
 +
[https://public.tableau.com/en-us/s/blog/2016/02/10-data-journalists-follow-tableau-public Data Journalists who use Tableau]
 +
[https://public.tableau.com/en-us/s/blog/2019/07/la-nacion-data-awarded-best-data-journalism-team-portfolio La Nacion Data Portfolio]
 
=== Основная литература ===
 
=== Основная литература ===
 
* Бослав С. Статистика для всех.  
 
* Бослав С. Статистика для всех.  
Строка 70: Строка 150:
 
* Tufte E. The visual display of quantitative information.
 
* Tufte E. The visual display of quantitative information.
 
* [https://www.tableau.com/learn/training Официальные материалы по работе с Tableau]
 
* [https://www.tableau.com/learn/training Официальные материалы по работе с Tableau]
 +
* [https://www.tableau.com/learn/articles/best-beautiful-data-visualization-examples 10 of the best visualization examples ]
 +
* [https://everydayanalytics.ca/2014/08/stacked-area-graphs-are-not-your-friend.html Stacked Area Graphs Are Not Your Friend]
 +
* [https://dataremixed.com/2016/01/optimize-or-satisfice-in-dataviz/ To Optimize or to Satisfice in Data Visualization?]
 +
* [https://everydayanalytics.ca/2015/10/good-data-visualization-should-be-boring.html Good Data Visualization Should Be Boring]
 +
* [https://www.tableau.com/sites/default/files/media/whitepaper_visual-analysis-guidebook_0.pdf Visual Analysis Best Practices by Tableau]
 +
* [https://www.insight.com/en_US/content-and-resources/blog/data-visualization-best-practices-part-one-the-three-cardinal-rules.html Data Visualization Best Practices Part 1: The 3 Cardinal Rules]
 +
* [https://www.insight.com/en_US/content-and-resources/blog/data-visualization-best-practices-part-two-mistakes-to-avoid.html Data Visualization Best Practices Part 2: Mistakes to Avoid]
 +
* [http://chrisalensula.org/the-ethics-of-visualization/ The Ethics of Visualization]
 +
* [http://vanseodesign.com/web-design/gestalt-principles-of-perception/ Gestalt Principles: How Are Your Designs Perceived?]
 +
* [https://hbr.org/2014/04/the-right-colors-make-data-easier-to-read  The Right Colors Make Data Easier To Read]
 +
 
=== Дополнительная литература ===
 
=== Дополнительная литература ===
 
* Уилан Ч. Голая статистика.
 
* Уилан Ч. Голая статистика.

Текущая версия на 13:24, 23 октября 2019

О курсе

"Основы анализа и визуализации данных для медиа" читается на 4 курсе, в 1 модуле 2019/2020 учебного года

Программа курса

Группа курса в Telegram

Преподаватель

Рогович Татьяна Владимировна

Ассистент

Филатов Михаил

Материалы курса

Ссылка для установки Tableau Public на собственные компьютеры

Нужно ввести e-mail и нажать оранжевую кнопку DOWNLOAD THE APP.

Лекции и семинары

Неделя № Тема Презентациии Файлы
2-8 сентября Лекции 1-2 Введение. Статистические данные и журналистика. Лекции 1-2 NA
2-8 сентября Семинар 1 Введение в статистику. Основные понятия: методы эксперимента и наблюдения, переменные, ошибка измерения, валидность и надежность. Семинар 1 NA
9-15 сентября Лекция 3 Статистика выводов и описательная статистика. Выборка и генеральная совокупность. Частотные таблицы и распределения. График рассеяния. Лекция 3 NA
9-15 сентября Лекция 4 Введение в визуализацию данных. Лекция 4 NA
9-15 сентября Семинар 2 Меры центральной тенденции. Работа с таблицами в Excel Семинар 2 Excel Tutorial Titanic Titanic Data
16-22 сентября Лекции 5-6 Принципы хорошей визуализации по Э. Тафти. Психологоческие особенности визуального восприятия. Лучшие практики работы с основными видами графиков. Лекции 5-6 NA
16-22 сентября Семинар 3 Меры разброса. Начало работы с Tableau Public Семинар 3 Titanic Data Tutorial по работе с титаником в tableau (c 8 минуты)
23-29 сентября Лекция 7 Корреляция. Тестирование гипотез на разность средних значений Лекция 7 НЕ НУЖНО ДЛЯ КОНТРОЛЬНОЙ

Часть лекции 7 про тестирование гипотез (разница между средними выборок). НУЖНО ДЛЯ КОНТРОЛЬНОЙ! || NA

23-29 сентября Семинар 5 Введение в Tableau. Базовые типы графиков Книга Tableau Семинара 5 NY garbage data
30 сентября-6 октября Семинар 6 Работа с барчартами в Tableau. Использование переменных из нескольких файлов. Создание дашборда Книга Семинара 6 NY garbage data Сensus Data
7-13 октября Семинар 7 Работа с линейными графиками. Самостоятельная работа Задания для упражнения Данные по именам новорожденных Moscow flats US Crimes Пример визуализации 1 Пример визуализации 2
14-20 октября Семинар 8 Решаем пробный вариант контрольной работы Группа 1634-164 Группа 161-162 Данные
14-20 октября Семинар 9 Графики рассеяния и карты: Gapminder. Вкладка Pages. Другие типы визуализаций. Gapminder Tutorial Axios Sexual Misconduct Visualisation Sexual Misconduct Data Axios Misconduct Data Gapminder Data Данные по суицидам Tooltip view example
14-20 октября Семинар 10 Самостоятельная в Tableau

Видео 1 Работаем в Excel с Титаником

Titanic Data

Видео 2 Работаем в Tableau с Титаником

Titanic Data

Tableau файл по итогам видео

Видео: Titanic Tableau Tutorial. Введение в интерфейс Tableau

Видео 3 NY Garbage Data - одни данные, разные графики

Garbage Data

Tableau файл по итогам видео

Видео: создаем разные графики по двум переменным. Кратко говорим о дашбордах

Видео 4 NY Garbage Data - делаем дашборд про Queens

Garbage Data Census Data

Tableau файл по итогам видео

Видео: считаем пропорции. Создаем индекс и ранжирование. Считаем значения на душу населения. Делаем небольшой дашборд про Queens

Видео 5 Baby Names - работаем с линейными графиками. Фильтры и контекст Добавляем подписи.

Tableau файл по итогам видео

Данные. National data

Видео: линейные графики. Фильтры и контекст. ВАЖНО

Видео 6 US Crimes - Мультивариативные графики рассеяния и интерпретация регрессии.

Данные

Видео: мультивариативный график. Анализ регрессии и коэффицента корелляции

Видео 7 Moscow Flats - Решение самостоятельного задания.

Данные

Задания

Видео: решение самостоятельного задания Moscow Flats

Видео 8 Life Expectancy - Решение Mock Test.

Видео: Решение Mock Test

Контрольные работы и презентации

Дата Тема Файлы Оценки
2 октября 10.30 Письменная контрольная работа по статистике Пробный вариант
1, 8 октября и 2, 10 октября по записи Презентация плохой визуализации Ссылка на запись
14 октября в 12.10 и 13.40 Контрольная в Tableau

Экзамен

Информация о экзамене и дедлайны Хорошие источники данных

Дедлайн утверждения темы: 16 октября 23:59 в ЛМС

Дедлайн сдачи проекта: 23 октября 23.59 в ЛМС

Защита проекта: 24 октября

Формула оценивания

Окончательная оценка = Округление(0.6 * (КР1 + КР2)/2 + 0.15 * ДЗ1 + 0.25 * Проект)

Промежуточная аттестация

Список рекомендуемой литературы

Data Journalists who use Tableau La Nacion Data Portfolio

Основная литература

Дополнительная литература

  • Уилан Ч. Голая статистика.
  • Gray J, Bounegru L, Chambers L. The Data Journalist Handbook.
  • Huff D. How to lie with statistics.
  • Livingston C, Voakes P. Working with numbers and statistics.
  • Савельев В. Статистика и котики.
Источник — «http://wiki.cs.hse.ru/index.php?title=Основы_анализа_и_визуализация_данных_для_медиа_2019/2020&oldid=36049»