Просмотр исходного текста страницы Цифровая грамотность домашки

== Задание 1 == 
'''Дедлайн 11.09.2017 23:59'''. <br />
'''Важно''': После дедлайна работы не принимаются.

# Установить [https://www.sourcetreeapp.com/ SourceTree] или оригинальный [https://git-scm.com/downloads Git-клиент], кому не удалось это сделать на семинаре.
# Сделать свой сайт (персональную страничку) на [https://pages.github.com/ Github-Pages], описанный в конце [https://ancatmara.gitbooks.io/digital-literacy/chapter1.html семинарского конспекта]. <br />'''Требования к страничке''': заголовок, фото или картинка, коротко о себе, одна-две ссылки на vk или github-профиль.
# Пройти [https://docs.google.com/forms/d/e/1FAIpQLSfpxfbIcvC3vLfVvRlmfoysZmR-COSlbGulmzrAFVz3EmoO0g/viewform опрос] с [[Цифровая грамотность|wiki-страницы]], чтобы мы могли проверить пункт 2.

'''Бонусные баллы'''<br />
За дополнительное оформление персональной странички.


== Задание 2 ==
'''Дедлайн 20.09.2017 23:59.'''<br />
0. '''Установить''' [https://notepad-plus-plus.org/ notepad++] или [https://www.geany.org/ Geany] (или любой другой редактор, способный работать с регулярными выражениями).<br />
1. Дан файл [https://drive.google.com/open?id=0ByLHeRX-gMWMSk1IblczSV83azA опрос.txt]. Это часть ответов на [https://docs.google.com/forms/d/e/1FAIpQLSfpxfbIcvC3vLfVvRlmfoysZmR-COSlbGulmzrAFVz3EmoO0g/viewform опрос] с [http://wiki.cs.hse.ru/Цифровая_грамотность Wiki]-страницы. Файл отличается от задания с семинара! '''Задание''': выписать регулярное выражение, которое найдет все записи, относящиеся к Вашей группе. <br />
2. Дан файл [https://drive.google.com/open?id=0ByLHeRX-gMWMbjNISEF4elJHYzA emails.txt]. Это коллекция email-писем корпорации [https://ru.wikipedia.org/wiki/Enron Enron] ([https://www.kaggle.com/wcukierski/enron-email-dataset#_=_ оригинал]). '''Задание''': выписать регулярное выражение, которое найдет все e-mail адреса в файле, начинающиеся с латинской буквы '''O''' без учета регистра (то есть и с заглавной O, и с прописной o). Например, oksana@gmail.com.<br />
3. '''Бонусное задание''': для файла [https://drive.google.com/open?id=0ByLHeRX-gMWMbjNISEF4elJHYzA emails.txt] выписать регулярное выражение, которое найдет все письма, отправленные в период времени 00:00-03:00. Регулярное выражение должно выдавать именно строки с message-ID.<br />

''' Важно! Правила сдачи: '''<br />
Создаем отдельный репозиторий на [https://github.com/ GitHub] (Важно: под тем же самым профилем, под которым Вы сдавали первое дз) с именем '''DL_homework_2'''. Под каждое задание нужен отдельный файл в репозитории с именами '''task_1.txt''', '''task_2.txt''', '''task_3.txt'''
==== Формат файла task_X.txt: ====
1. На первой строке файла: регулярное выражение.<br />
2. На второй строке файла: сколько было найдено совпадений по этому регулярному выражению. Число!<br />
3. С третьей и далее: все строки, найденные этим регулярным выражением.<br />

'''Внимание: При нарушении правил сдачи задание может быть оценено в 0 баллов!'''<br />


== Задание 3 == 
'''Дедлайн 29.09.2017 23:59'''. <br />

Скачайте [https://drive.google.com/file/d/0ByLHeRX-gMWMUFFsbG9VWUpMLUk/view?usp=sharing '''файл'''] с [https://ru.wikipedia.org/wiki/%D0%9F%D0%BE%D0%B2%D0%B5%D1%81%D1%82%D1%8C_%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%BB%D0%B5%D1%82 Повестью Временных Лет].<br />
Летопись необходимо отредактировать следующим образом:<br />
'''1.''' Удалить все пустые строки.<br />
'''2.''' После каждого знака препинания поставить пробел (но выставлять их стоит только если того требуют правила русского языка).<br />
'''3.''' Найти всех князей и города, имя и название которых оканчивается на "слав".<br />
'''4.''' Найти все упоминания Новгорода. Учтите, что написание может быть разным.<br />

''' Важно! Правила сдачи: '''<br />
Создаем отдельный репозиторий на [https://github.com/ GitHub] (Важно: под тем же самым профилем, под которым Вы сдавали первое дз) с именем '''DL_homework_3'''. Под задание нужен отдельный файл в репозитории с именем '''task_1.txt'''.
==== Формат файла task_1.txt: ====
Первые четыре строки должны содержать описание того, что Вы делали, чтобы решить каждое задание. Например:<br />
''1 строка: Использовал регулярное выражение: ... заменил все вхождения на ...''<br />
''2 строка: Использовал регулярное выражение: ... заменил все вхождения на ...''<br />
''3 строка: Использовал регулярное выражение: ... Всего упоминаний о князьях нашел: (число)<br />''
''4 строка: Использовал регулярное выражение: ... Всего упоминаний Новгорода нашел: (число)<br />''

На следующих строках должна быть летопись после обработки.<br />

'''Внимание: При нарушении правил сдачи задание может быть оценено в 0 баллов!'''<br />

== Задание 4 == 
'''Дедлайн 09.10.2017 23:59'''. <br />
'''0.''' Выполните [[#Бонусная часть - извлечение данных из исходника с помощью регулярных выражений|бонусную часть]] или скачайте готовую [https://docs.google.com/spreadsheets/d/1Nz7q2cw0G0qu4ALygXchW_wuMs7ZutL4E5WIV3Avco4/edit?usp=sharing таблицу].<br />
'''1.''' Постройте столбец "Предполагаемое окончание службы" по правилу: ''Если в тексте не найдено окончание службы, то оно равно началу службы + 1 год.''<br />
'''2.''' Подсчитайте длительность службы для каждого дьяка/подьячего. Подсчитайте, сколько в среднем служили дьяки и подьячие, и запишите в конце столбца "Длительность" .<br />
'''3.''' Отсортируйте дьяков и подьячих по длительностям службы по убыванию. <br />
'''4.''' Постройте столбчатую диаграмму по срокам службы.<br />
'''5.''' '''Бонусное задание''': С помощью [https://support.office.com/ru-ru/article/%D0%9F%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5-%D1%83%D1%81%D0%BB%D0%BE%D0%B2%D0%BD%D0%BE%D0%B3%D0%BE-%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D1%81-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E-%D1%84%D0%BE%D1%80%D0%BC%D1%83%D0%BB%D1%8B-fed60dfa-1d3f-4e13-9ecb-f1951ff89d7f Условного форматирования] покрасьте одним цветом дьяков, другим - подьячих.<br />
'''6.''' Сохраните полученную таблицу в PDF-формате.


=== Бонусная часть - извлечение данных из исходника с помощью регулярных выражений ===
Скачайте [https://drive.google.com/file/d/0ByLHeRX-gMWMT2dxTTA0TWZXc1E/view?usp=sharing '''файл'''] с отрывком из работы С. Б. Веселовского [https://elibrary.ru/item.asp?id=22024689 ДЬЯКИ И ПОДЬЯЧИЕ XV -XVII ВВ].<br />
Вам необходимо получить таблицу в Excel/Google Sheets с должностями и сроками службы вида:<br />

{| class="wikitable"
|-
! Имя, Фамилия !! Должность  !! Начало службы !! Окончание службы, найденное в тексте !! Предполагаемое окончание службы !! Длительность
|-
| Амирев Артемий || подьячий || 1646 || 1648 || 1648 || 2
|-
| Амирев Василий || дьяк || 1529 ||  || 1530 || 1
|}

Чтобы ее построить, решите '''вспомогательные задания''':<br />
'''1.''' Обратите внимание на записи, где для одного человека указаны несколько должностей, например <br />
''Путилов Спиридон - подьячий Потешного двора, 15 июля 1670 г. по 1671 г.; 8 июля 1671 г. подьячий.''<br />
С помощью регулярных выражений '''замените''' каждую такую запись на две отдельные записи:<br />
''Путилов Спиридон - подьячий Потешного двора, 15 июля 1670 г. по 1671 г.;''<br />
''Путилов Спиридон - 8 июля 1671 г. подьячий.''<br />
(Совет: используйте обратные ссылки \1 \2 и.т.д.)<br />
'''2.''' С помощью регулярных выражений из текста, измененного '''1''' заданием, получите столбец с '''именами и фамилиями'''.<br />
'''3.''' С помощью регулярных выражений из  текста, измененного '''1''' заданием, получите столбец с '''должностями''' - дьяк или подьячий.<br />
Давайте заметим, что теперь в каждой записи может быть либо два четырехзначных числа (вначале дата начала, потом дата окончания службы), либо одно четырехзначное (дата начала).<br />
'''4.''' С помощью регулярных выражений из  текста, измененного '''1''' заданием, получите столбец с '''датами начала службы'''.<br />
'''5.''' С помощью регулярных выражений из  текста, измененного '''1''' заданием, получите столбец с '''датами окончания службы'''. Обратите внимание, что таких может и не быть в записи. В этом случае, ячейка должна пустовать.<br />
'''6.''' Перенесите столбцы в Excel/Google Sheets. <br />

=== Важно! Правила сдачи: ===
Создаем отдельный репозиторий на [https://github.com/ GitHub] (Важно: под тем же самым профилем, под которым Вы сдавали первое дз) с именем '''DL_homework_4'''. Под задание нужен отдельный файл в репозитории с именем '''table.pdf''' с построенной таблицей и файл '''bonus.txt'''.
==== Формат файла bonus.txt: ====
Первые пять строк должны содержать описание того, что Вы делали, чтобы решить задания '''1'''-'''5''' из [[#Бонусная часть - извлечение данных из исходника с помощью регулярных выражений|бонусной части]]. Например:<br />
''1 строка: Использовал регулярное выражение: ... заменил все вхождения на ...''<br />
...<br />
''4 строка: Использовал регулярное выражение: ... заменил все вхождения на ...<br />''
''5 строка: Использовал регулярное выражение: ... заменил все вхождения на ...<br />''


== Задание 5 == 
'''Дедлайн 21.10.2017 23:59'''. <br />
Результатом задания должен быть отчёт, сохраненный в PDF! (см. [[#Важно! Правила сдачи:|Правила сдачи]])<br />
'''1.''' Сравните частоту употреблений слов "ныне" и "сейчас" в разное время (например, в 18, 19, 20 веках) на основе [http://www.ruscorpora.ru/ Национального корпуса русского языка]. 
С помощью Excel постройте столбчатые диаграммы по частотам употреблений этих слов в 18-20 веках (основной подкорпус). Сравните частоты употреблений в основном и поэтическом подкорпусах. Напишите небольшой отчёт, включите в него иллюстрации и их интерпретацию. <br />
'''2.''' Перед Вами несколько диалогов. Могли ли они встретиться в таком виде во времена правления Екатерины Второй?
Подкрепите свои рассуждения данными из [http://www.ruscorpora.ru/ Национального корпуса русского языка]. Полученные выводы включите в отчёт.<br />
  ''— Отдай!''
  ''— Пиши пропало. Что пряжка, третьего дня эта поганка у меня с груди звезду Александра Невского уперла! Любит, сволочь, блестящее.''

  ''— Ох, ну просто немыслимо! Нет, как можно быть таким лопухом?!''

  '' — Я гнева вашего никак не растолкую. Он в доме здесь живет, великая напасть!''

'''3. Бонусное задание.''' Посмотрите динамику употребления слова "щас" в основном подкорпусе с 1950 года до наших дней, [http://ruscorpora.ru/ngram.html постройте график]. Сравните употребление слова "щас" в текстах разных жанров (жанр можно задать при [http://ruscorpora.ru/mycorpora-main.html выборе подкорпуса]. Включите анализ полученных результатов в отчет.<br />
'''4. Бонусное задание.''' Найдите в основном подкорпусе сочетания "история/философия + существительное в Р.п" (историкам -- история, философам -- философия), скачайте выдачу в формате Excel (ссылка на скачивание будет в самом низу), отсортируйте строки по столбцу F (там будут существительные в Р.п.) и проанализируйте результаты. Какая история/философия упоминается в корпусе чаще всего? Выводы включите в отчет.

=== Важно! Правила сдачи: ===
Создаем отдельный репозиторий на [https://github.com/ GitHub] (Важно: под тем же самым профилем, под которым Вы сдавали первое дз) с именем '''DL_homework_5'''. Отчёт нужно писать в Word (или любом аналоге), затем конвертировать этот файл в PDF, итоговый файл должен называться '''ruscorpora_report.pdf'''. Перед сдачей проверьте, пожалуйста, что иллюстрации, поля и форматирование документа в порядке. Придерживайтесь строгого стиля.

== Задание 6 == 
'''Дедлайн 15.11.2017 23:59'''. <br />
=== Анализ социальных сетей ===
[[Файл:Layout.jpg|мини|Укладка]]
<div class="tright" style="clear:none">[[Файл:Modularity.jpg|мини|Раскраска по классам модулярности]]</div>
<div class="tright" style="clear:none">[[Файл:Statistics.png|мини|Расчет модулярности]]</div>
[[Файл:DLiteracy HW6 rep.PNG|мини|Содержимое репозитория ("После этого"  равно "после экспорта"), скриншот из конспекта семинара]]
'''1.''' Постройте ориентированный граф своих друзей, используя [https://vk.com/app3861133 приложение]. <br />
'''2.''' Откройте полученный .gexf файл с помощью [https://gephi.org/ gephi]<br />
Если не удаётся установить gephi или приложение выдаёт ошибку, ознакомьтесь с [https://www.dropbox.com/s/qi50cx2ly7zf7na/Gephi.pdf?dl=0 этой инструкцией]. <br />
'''3.''' Измените внешний вид графа: запустите алгоритм укладки (раздел "Window"->"Layout"), подберите оптимальные значения параметров, отредактируйте ширину и цвет ребер графа, цвет и размер узлов. <br />
'''4.''' Рассчитайте модулярность графа (раздел "Window"->"Statistics"->"Modularity") и раскрасьте граф по классам модулярности (раздел "Window"->"Appearance"->"Nodes"->"Partition"). Проанализируйте полученный результат: насколько корректные получились сообщества? Соответствуют ли они действительности? <br />
'''5.''' Во вкладке "Preview" выберите фон, цвета подписей, размер узлов и.т.д.<br />
'''6.''' Установите "Sigma.js export plugin" ("Tools"->"Plugins"->"Available Plugins").<br />
'''7.''' Экспортируйте граф через Sigma.js plugin ("File"->"Export"->"Sigma.js template"). В первой строке необходимо указать директорию, куда граф будет экспортирован. Также укажите в соответствующих полях, что означают узлы, ребра и цвета, добавьте описание. Результатом экспорта является папка '''network''' в указанной директории.<br />

=== Важно! Правила сдачи: ===
Создайте отдельный репозиторий на [https://github.com/ GitHub] (Важно: под тем же самым профилем, под которым Вы сдавали первое дз) с именем '''DL_homework_6'''. Загрузите файлы из экспортированной папки '''network''' в репозиторий (Файл '''index.html''' и другие файлы рядом с ним (то есть все содержимое папки network) должны оказаться в корне репозитория, файл ".gitignore" необязателен!). В настройках репозитория "Settings"->"Github pages" выберите master-ветвь. После нажатия "Save" в этом разделе появится ссылка на github-страницу с графом. Укажите эту ссылку в файле '''README.md'''.


P.S. По вопросам, связанным с дз, обращайтесь, пожалуйста, в Telegram-группы нашего курса. Ссылки есть на [http://wiki.cs.hse.ru/Цифровая_грамотность Wiki].