Просмотр исходного текста страницы Ask me (семинар)

Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].

==Правила игры ==
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])
* '''Время:''' c 10:00, каждый четверг.

Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.

===Ключевые точки===
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.
# '''12-17 декабря''' - все включились в работу
# '''20-25 марта''' - реализован объем работ, необходимый для зачета
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. 
# '''начало июня''' - конкурс проектов.

===Правило 2Х===
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.

===Репозитории===
Студенты хранят свой код в следующих репозиториях
{| class="wikitable"
|-
|Ментор  || https://github.com/dasimagin/askme
|-
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can
|-
|Остяков || https://github.com/PavelOstyakov/askme
|-
|Рябинин || https://github.com/mryab/askme
|-
|Попов || https://github.com/Akiiino/Ask-Me-Anything
|-
|Ширин || https://github.com/shirinnikita/ask_me
|}

===Разбор статьи===
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.

{| class="wikitable"
|-
! Студент !! Статья !! Дата
|-
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля
|-
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта
|-
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля
|-
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта
|-
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля
|}

===Лабораторные===
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.

# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.
# Когда ревью завершено, влейтесь в мастер и закройте задание.

===Результаты===
Текущие результаты можно найти  [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:
# Работа на семинаре
# Доклад статьи
# Итоговый результат

==Семинары==

===H19.03===
1. Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.
2. Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.

'''Задание'''
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. '''Дедлайн:''' 9 апреля.

===S02.03===
Разбирали результаты L4, начали говорить на тему проекта.

===L5===
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].

===S19.02===
# Доразбирали вычисление градиента для рекуррентных сетей.
# Еще раз поговорили о затухании и взрыве градиента.

'''Литература для чтения:'''
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.

===S02.02===
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети

===S29.01===
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.

===L4===
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].

'''Срок сдачи:'''
* Начало ревью: 24 февраля 23:59 
* Окончание ревью: 8 марта 23:59 

{| class="wikitable"
|-
! Ревьюер !! Разработчик !! Оценка
|-
| Попов || Рябинин || -
|-
| Остяков || Попов || -
|-
| Когтенков || Остяков || -
|-
| Ширин  || Когтенков || -
|-
| Рябинин || Ширин || -
|}

===H11.01===
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].

Доклады мне не очень понравились. Постараюсь написать общие замечания.
# Прежде всего у докладчика должна быть хорошая речь.
# Нужно выделить то, что действительно важно и интересно для слушателя.
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.

===S15.12===
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.

===H11.12===
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].

===S08.12===
'''1. Известные архитектуры сверточных сетей'''
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]
'''2. Поговорили:'''
* На что активируются нейроны в зависимости от слоя
* Генерация 'похожих картинок'
* Послойное обучение сети
* Переобучение или дообучение уже готовой сети
'''3. Изучили примеры для библиотеки Keras'''
*  [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети 

===L3===
{| class="wikitable"
|-
! Студент !! CPU !! RAM !! GPU
|- 
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X
|-
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070
|-
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti
|-
| Остяков || 8 core, 2,6 GHz || 50 GB || -
|-
| Когтенков || 2 core, 1.4 GHz || 4 GB || -
|-
| Ширин || 2 core, 1.9 GHz || 8 GB || -
|}

Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации,  срок 3 января, 23:59.

Для этого вам понадобится
* Установить [https://www.tensorflow.org Tensorflow] 
* Установить [https://keras.io Keras] 
* Запастись терпением

===S01.12===
'''1. Полносвязанные сети:'''
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].

'''2. Сверточные сети:'''
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].
* Влияние различных ядер свертки на структуру сети.
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].
* Сочетание из Convolutional и Dense слоев.

===S24.11===
'''1. Регуляризация:'''
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].
* Используйте простые классификаторы
* Раняя остановка (смотрим качество на отложенном множестве)
* Добавление шума
* Комбинирование классификаторов

'''2. Полносвязанные сети:'''
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.
* Инициализация весов:  и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].

===L2===

Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь],  срок 23:59 11 декабря.

===S03.11===
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.

'''Для дополнительного чтения:'''
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].

===L1===
{| class="wikitable"
|-
! Ревьюер !! Разработчик !! Оценка
|-
|Рябинин || Попов || 10
|-
| Попов || Остяков || 10
|-
| Остяков || Когтенков || 10
|-
| Когтенков || Ширин || 9.7
|-
| Ширин || Рябинин || 10
|}

Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3
# Освоить [http://jupyter.org Jupyter notebook]
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib