http://wiki.cs.hse.ru/api.php?action=feedcontributions&user=Simagin.denis&feedformat=atomWiki - Факультет компьютерных наук - Вклад участника [ru]2024-03-29T04:42:15ZВклад участникаMediaWiki 1.23.2http://wiki.cs.hse.ru/Ann_(answering_neural_net)Ann (answering neural net)2018-11-04T22:31:40Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Ann (answering neural net)<br />
|company=Яндекс<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=3-4<br />
|number_of_students=3-4<br />
|categorize=yes<br />
}}<br />
<br />
<br />
===Что это за проект?===<br />
Это исследовательский проект. Существует датасет [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD 2.0]. Проблема заключается в том, чтобы прочитать параграф текста, а затем по вопросу сгенерировать ответ. Уже существует пачка научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы, попробовать обучить собственную модель и на основе ее построить фактологический поиск по статьям Википедии.<br />
<br />
На первом этапе в качестве базового поиска можно использовать поисковую машину Яндекса. Однако один из студентов может взять на себя также и задачу базового поиска. В качестве демонстрации проделанной работы предлагаю сделать специальный навык для Алисы (это значит, что сервис должен отвечать онлайн), по сути поднять собственный сервис на одной из облачных платформ.<br />
<br />
Команда Яндекса любезно согласилась нам предоставить разметку для реальных фактологических запросов к Алисе. А студенты, которые покажут лучшие результаты, смогут пройти летнюю стажировку и сделать вклад в Алису, внедрив своё решение.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
* Работа в команде, проведение ревью, развертывание сервиса в облаке.<br />
* Современные модели работы с текстом, разработка на Python3.<br />
* Плохим шуткам.<br />
<br />
===Какие начальные требования?===<br />
* Наличие хорошей машины с GPU (или аренда в облаке).<br />
* Навыки в обучении больших моделей.<br />
* Уверенное владение Python3.<br />
* Умение читать научные статьи на английском.<br />
<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch.<br />
* AWS/Gсloud<br />
* Возможно, MongoDB для базового поиска.<br />
<br />
===Направления развития?===<br />
* Повышение качества модели.<br />
* Расширение базы документов.<br />
* Ускорение работы.<br />
<br />
===Критерии оценки?===<br />
Оценка команды будет зависеть от конечного качества модели, в качестве базы возьмем текущее качество фактологических ответов Алисы. Персональные оценки выставляются на основе личного вклада студента (может быть выше, чем оценка команда).<br />
<br />
===Контакты===<br />
[[Участник:Simagin.denis|Денис Симагин]]</div>Simagin.denishttp://wiki.cs.hse.ru/Ann_(answering_neural_net)Ann (answering neural net)2018-11-04T22:28:11Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Ann (answering neural net)<br />
|company=Яндекс<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=3-4<br />
|number_of_students=3-4<br />
|categorize=yes<br />
}}<br />
<br />
<br />
===Что это за проект?===<br />
Это исследовательский проект. Существует датасет [SQuAD 2.0](https://rajpurkar.github.io/SQuAD-explorer/). Проблема заключается в том, чтобы прочитать параграф текста, а затем по вопросу сгенерировать ответ. Уже существует пачка научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы, попробовать обучить собственную модель и на основе ее построить фактологический поиск по статьям Википедии.<br />
<br />
На первом этапе в качестве базового поиска можно использовать поисковую машину Яндекса. Однако один из студентов может взять на себя также и задачу базового поиска. В качестве демонстрации проделанной работы предлагаю сделать специальный навык для Алисы (это значит, что сервис должен отвечать онлайн), по сути поднять собственный сервис на одной из облачных платформ.<br />
<br />
Команда Яндекса любезно согласилась нам предоставить разметку для реальных фактологических запросов к Алисе. А студенты, которые покажут лучшие результаты, смогут пройти летнюю стажировку и сделать вклад в Алису, внедрив своё решение.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
* Работа в команде, проведение ревью, развертывание сервиса в облаке.<br />
* Современные модели работы с текстом, разработка на Python3.<br />
* Плохим шуткам.<br />
<br />
===Какие начальные требования?===<br />
* Наличие хорошей машины с GPU (или аренда в облаке).<br />
* Навыки в обучении больших моделей.<br />
* Уверенное владение Python3.<br />
* Умение читать научные статьи на английском.<br />
<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch.<br />
* AWS/Gсloud<br />
* Возможно, MongoDB для базового поиска.<br />
<br />
===Направления развития?===<br />
* Повышение качества модели.<br />
* Расширение базы документов.<br />
* Ускорение работы.<br />
<br />
===Критерии оценки?===<br />
Оценка команды будет зависеть от конечного качества модели, в качестве базы возьмем текущее качество фактологических ответов Алисы. Персональные оценки выставляются на основе личного вклада студента (может быть выше, чем оценка команда).<br />
<br />
===Контакты===<br />
[[Участник:Simagin.denis|Денис Симагин]]</div>Simagin.denishttp://wiki.cs.hse.ru/Ann_(answering_neural_net)Ann (answering neural net)2018-11-04T22:27:26Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Ann (answering neural net)<br />
|company=Яндекс<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=3-4<br />
|number_of_students=3-4<br />
|categorize=yes<br />
}}<br />
<br />
<br />
===Что это за проект?===<br />
Это исследовательский проект. Существует датасет SQuAD 2.0. Проблема заключается в том, чтобы прочитать параграф текста, а затем по вопросу сгенерировать ответ. Уже существует пачка научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы, попробовать обучить собственную модель и на основе ее построить фактологический поиск по статьям Википедии.<br />
<br />
На первом этапе в качестве базового поиска можно использовать поисковую машину Яндекса. Однако один из студентов может взять на себя также и задачу базового поиска. В качестве демонстрации проделанной работы предлагаю сделать специальный навык для Алисы (это значит, что сервис должен отвечать онлайн), по сути поднять собственный сервис на одной из облачных платформ.<br />
<br />
Команда Яндекса любезно согласилась нам предоставить разметку для реальных фактологических запросов к Алисе. А студенты, которые покажут лучшие результаты, смогут пройти летнюю стажировку и сделать вклад в Алису, внедрив своё решение.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
* Работа в команде, проведение ревью, развертывание сервиса в облаке.<br />
* Современные модели работы с текстом, разработка на Python3.<br />
* Плохим шуткам.<br />
<br />
===Какие начальные требования?===<br />
* Наличие хорошей машины с GPU (или аренда в облаке).<br />
* Навыки в обучении больших моделей.<br />
* Уверенное владение Python3.<br />
* Умение читать научные статьи на английском.<br />
<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch.<br />
* AWS/Gсloud<br />
* Возможно, MongoDB для базового поиска.<br />
<br />
===Направления развития?===<br />
* Повышение качества модели.<br />
* Расширение базы документов.<br />
* Ускорение работы.<br />
<br />
===Критерии оценки?===<br />
Оценка команды будет зависеть от конечного качества модели, в качестве базы возьмем текущее качество фактологических ответов Алисы. Персональные оценки выставляются на основе личного вклада студента (может быть выше, чем оценка команда).<br />
<br />
===Контакты===<br />
[[Участник:Simagin.denis|Денис Симагин]]</div>Simagin.denishttp://wiki.cs.hse.ru/Darin_(deep_and_reinforced_intelligence_net)Darin (deep and reinforced intelligence net)2018-11-04T16:36:07Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=Darin (deep and reinforced intelligence net)<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=2-3<br />
|number_of_students= до 10<br />
|categorize=yes<br />
}}<br />
<br />
===Что это за проект?===<br />
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для участия в проекте нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
* Чтение научных статей на английском<br />
* Работе с глубокими нейронными сетями<br />
* Обучение с подкреплением<br />
* Плохие шутки<br />
<br />
===Какие начальные требования?===<br />
* Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
* Знание Python 3<br />
* Git и работа с командной оболочкой<br />
* Английский<br />
<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch (возможно, Tensorflow)<br />
* AWS/GCloud<br />
<br />
===Темы вводных занятий?===<br />
* Обучении с учителем<br />
* Линейные модели, градиентный спуск<br />
* Введение в нейронные сети<br />
* Сверточные сети<br />
* Обучение с подкреплением<br />
* Разбор базовых статей<br />
<br />
===Направления развития?===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
===Критерии оценки?===<br />
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.</div>Simagin.denishttp://wiki.cs.hse.ru/Darin_(deep_and_reinforced_intelligence_net)Darin (deep and reinforced intelligence net)2018-11-04T16:33:43Z<p>Simagin.denis: Simagin.denis переименовал страницу DaRiNa (Deep reinforced net) в Darin (deep and reinforced intelligence net)</p>
<hr />
<div>{{Карточка_проекта<br />
|name=Darin (deep and reinforced intelligence net)<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=2-3<br />
|number_of_students= до 10<br />
|categorize=yes<br />
}}<br />
<br />
===Что это за проект?===<br />
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для участия в проекте нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
* Чтение научных статей на английском<br />
* Работе с глубокими нейронными сетями<br />
* Обучение с подкреплением<br />
* Плохие шутки<br />
<br />
===Какие начальные требования?===<br />
* Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
* Знание Python 3, Git и работа с командной оболочкой<br />
* Английский<br />
<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch (возможно, Tensorflow)<br />
* AWS/GCloud<br />
<br />
===Темы вводных занятий?===<br />
* Обучении с учителем<br />
* Линейные модели, градиентный спуск<br />
* Введение в нейронные сети<br />
* Сверточные сети<br />
* Обучение с подкреплением<br />
* Разбор базовых статей<br />
<br />
===Направления развития?===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
===Критерии оценки?===<br />
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.</div>Simagin.denishttp://wiki.cs.hse.ru/DaRiNa_(Deep_reinforced_net)DaRiNa (Deep reinforced net)2018-11-04T16:33:43Z<p>Simagin.denis: Simagin.denis переименовал страницу DaRiNa (Deep reinforced net) в Darin (deep and reinforced intelligence net)</p>
<hr />
<div>#перенаправление [[Darin (deep and reinforced intelligence net)]]</div>Simagin.denishttp://wiki.cs.hse.ru/Darin_(deep_and_reinforced_intelligence_net)Darin (deep and reinforced intelligence net)2018-11-04T16:31:28Z<p>Simagin.denis: Fix all lists</p>
<hr />
<div>{{Карточка_проекта<br />
|name=Darin (deep and reinforced intelligence net)<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=2-3<br />
|number_of_students= до 10<br />
|categorize=yes<br />
}}<br />
<br />
===Что это за проект?===<br />
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для участия в проекте нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
* Чтение научных статей на английском<br />
* Работе с глубокими нейронными сетями<br />
* Обучение с подкреплением<br />
* Плохие шутки<br />
<br />
===Какие начальные требования?===<br />
* Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
* Знание Python 3, Git и работа с командной оболочкой<br />
* Английский<br />
<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch (возможно, Tensorflow)<br />
* AWS/GCloud<br />
<br />
===Темы вводных занятий?===<br />
* Обучении с учителем<br />
* Линейные модели, градиентный спуск<br />
* Введение в нейронные сети<br />
* Сверточные сети<br />
* Обучение с подкреплением<br />
* Разбор базовых статей<br />
<br />
===Направления развития?===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
===Критерии оценки?===<br />
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.</div>Simagin.denishttp://wiki.cs.hse.ru/Darin_(deep_and_reinforced_intelligence_net)Darin (deep and reinforced intelligence net)2018-11-04T16:30:06Z<p>Simagin.denis: /* Какие будут использоваться технологии? */</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DaRiNa (Deep reinforced net)<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=2-3<br />
|number_of_students= до 10<br />
|categorize=yes<br />
}}<br />
<br />
===Что это за проект?===<br />
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для участия в проекте нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
Чтение научных статей на английском<br />
Погружение в машинное обучение, сверточные нейронные сети<br />
Обучение с подкреплением<br />
Плохие шутки<br />
===Какие начальные требования?===<br />
Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
Знание Python 3, Git и работа с командной оболочкой<br />
Хорошая математическая подготовка<br />
Английский<br />
===Какие будут использоваться технологии?===<br />
* Python3<br />
* Scipy stack<br />
* PyTorch (возможно, Tensorflow)<br />
* AWS/GCloud<br />
<br />
===Темы вводных занятий?===<br />
* Обучении с учителем<br />
* Линейные модели, градиентный спуск<br />
* Введение в нейронные сети<br />
* Сверточные сети<br />
* Обучение с подкреплением<br />
* Разбор базовых статей<br />
<br />
===Направления развития?===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
===Критерии оценки?===<br />
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.</div>Simagin.denishttp://wiki.cs.hse.ru/Darin_(deep_and_reinforced_intelligence_net)Darin (deep and reinforced intelligence net)2018-11-04T16:29:33Z<p>Simagin.denis: Fix topics' list</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DaRiNa (Deep reinforced net)<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=2-3<br />
|number_of_students= до 10<br />
|categorize=yes<br />
}}<br />
<br />
===Что это за проект?===<br />
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для участия в проекте нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
Чтение научных статей на английском<br />
Погружение в машинное обучение, сверточные нейронные сети<br />
Обучение с подкреплением<br />
Плохие шутки<br />
===Какие начальные требования?===<br />
Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
Знание Python 3, Git и работа с командной оболочкой<br />
Хорошая математическая подготовка<br />
Английский<br />
===Какие будут использоваться технологии?===<br />
Python3, scipy stack, PyTorch<br />
AWS/Gсloud<br />
===Темы вводных занятий?===<br />
* Обучении с учителем<br />
* Линейные модели, градиентный спуск<br />
* Введение в нейронные сети<br />
* Сверточные сети<br />
* Обучение с подкреплением<br />
* Разбор базовых статей<br />
<br />
===Направления развития?===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
===Критерии оценки?===<br />
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.</div>Simagin.denishttp://wiki.cs.hse.ru/Darin_(deep_and_reinforced_intelligence_net)Darin (deep and reinforced intelligence net)2018-11-04T12:26:28Z<p>Simagin.denis: Fix course</p>
<hr />
<div>{{Карточка_проекта<br />
|name=DaRiNa (Deep reinforced net)<br />
|mentor=Денис Симагин<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2018<br />
|course=2-3<br />
|number_of_students= до 10<br />
|categorize=yes<br />
}}<br />
<br />
===Что это за проект?===<br />
Сочетание reinforcement learning и deep learning является горячей темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о AlpaGo, программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Конечная цель перенести идеи статью [https://deepmind.com/blog/alphago-zero-learning-scratch/ AlphaGo Zero] на игру [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для участия в проекте нужно пройти собеседование.<br />
<br />
===Чему студент научится?===<br />
Чтение научных статей на английском<br />
Погружение в машинное обучение, сверточные нейронные сети<br />
Обучение с подкреплением<br />
Плохие шутки<br />
===Какие начальные требования?===<br />
Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
Знание Python 3, Git и работа с командной оболочкой<br />
Хорошая математическая подготовка<br />
Английский<br />
===Какие будут использоваться технологии?===<br />
Python3, scipy stack, PyTorch<br />
AWS/Gсloud<br />
===Темы вводных занятий?===<br />
Обучении с учителем<br />
Линейные модели, градиентный спуск<br />
Введение в нейронные сети<br />
Сверточные сети<br />
Обучение с подкреплением<br />
===Направления развития?===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
===Критерии оценки?===<br />
В конце проекта проводится турнир между алгоритмами, на основе которого и выставляются оценки.</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denisУчастник:Simagin.denis2018-09-28T08:37:41Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_ментора<br />
|categorize = yes<br />
}}<br />
<br />
[[Файл:profile.jpg|мини|справа|Денис Симагин]]<br />
<br />
== Симагин Денис ==<br />
В школе увлекался математикой, программированием. А после ШАДа влюбился в машинное обучение. Работаю в Яндекс.Картах.<br />
<br />
== Образование ==<br />
* Бакалавриат, ВШЭ, Прикладная математика и инфоматика (Нижний Новгород)<br />
<br />
* Магистратура, ВШЭ, Компьютерные науки (Москва)<br />
<br />
* ШАД, Компьютерные науки<br />
<br />
== Интересы ==<br />
* Машинное обучение<br />
<br />
* Большие данные<br />
<br />
* Красивые алгоритмические задачи<br />
<br />
== Контакты ==<br />
E-mail: ''simagin.mail@yandex.ru''<br />
<br />
Telegram: @dasimagin<br />
<br />
Телефон: +7 961-639-24-15</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denisУчастник:Simagin.denis2018-09-24T20:05:22Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_ментора<br />
|categorize = yes<br />
}}<br />
<br />
[[Файл:profile.jpg|мини|справа|Денис Симагин]]<br />
<br />
== Симагин Денис ==<br />
В школе увлекался математикой, программированием. А после ШАДа влюбился в машинное обучение. Работаю в Яндекс.Картах.<br />
<br />
== Образование ==<br />
* Бакалавриат, ВШЭ, Прикладная математика и инфоматика (Нижний Новгород)<br />
<br />
* Магистратура, ВШЭ, Компьютерные науки (Москва)<br />
<br />
* ШАД, Компьютерные науки<br />
<br />
== Интересы ==<br />
* Машинное обучение<br />
<br />
* Большие данные<br />
<br />
* Красивые алгоритмические задачи<br />
<br />
== Контакты ==<br />
E-mail: ''simagin.mail@yandex.ru''<br />
<br />
Telegram: @dasimagin<br />
<br />
Телефон: +7 964-773-48-69</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A4%D0%B0%D0%B9%D0%BB:Profile.jpgФайл:Profile.jpg2018-09-24T20:02:42Z<p>Simagin.denis: Simagin.denis загружена новая версия «Файл:Profile.jpg»</p>
<hr />
<div></div>Simagin.denishttp://wiki.cs.hse.ru/Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Renju (проект)2017-10-19T18:51:43Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=Renju<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является "горячей" темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
'''Молния:''' вышла новая статья [https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ статья].<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Сверточные нейронные сети<br />
# Обучение с подкреплением<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко об обучении с учителем<br />
# Линейные модели, градиентный спуск<br />
# Введение в нейронные сети<br />
# Сверточные сети<br />
# Обучение с подкреплением<br />
<br />
=== Направления развития ===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Renju (проект)2017-10-19T18:51:27Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=Renju<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является "горячей" темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
'''Молния:''' вышла новая статья [https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ статья], где модель обучается полностью без учителя.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Сверточные нейронные сети<br />
# Обучение с подкреплением<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко об обучении с учителем<br />
# Линейные модели, градиентный спуск<br />
# Введение в нейронные сети<br />
# Сверточные сети<br />
# Обучение с подкреплением<br />
<br />
=== Направления развития ===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Renju (проект)2017-10-19T18:51:09Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=Renju<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является "горячей" темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
'''Молния:''' вышла новая статья [https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ статья], где модель обучается полностью без учителя.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Сверточные нейронные сети<br />
# Обучение с подкреплением<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко об обучении с учителем<br />
# Линейные модели, градиентный спуск<br />
# Введение в нейронные сети<br />
# Сверточные сети<br />
# Обучение с подкреплением<br />
<br />
=== Направления развития ===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/Renju_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Renju (проект)2017-10-04T13:02:38Z<p>Simagin.denis: Новая страница, с помощью формы Новый_проект</p>
<hr />
<div>{{Карточка_проекта<br />
|name=Renju<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Cочетание [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcement learning] и [https://en.wikipedia.org/wiki/Deep_learning deep learning] является "горячей" темой на сегодняшний день. К примеру, изучите статью [http://arxiv.org/pdf/1312.5602v1.pdf Playing atari with deep reinforcement learning]. Также вы, наверняка, слышали о [https://en.wikipedia.org/wiki/AlphaGo AlpaGo], программе, которая впервые победила человека, профессионально играющего в Go. Подробнее об этом [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf здесь]. Данный проект заключается в изучении подходов, использующихся в AlphaGo, и их реализации при создание собственного алгоритма для игры в [https://en.wikipedia.org/wiki/Renju рендзю].<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Сверточные нейронные сети<br />
# Обучение с подкреплением<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко об обучении с учителем<br />
# Линейные модели, градиентный спуск<br />
# Введение в нейронные сети<br />
# Сверточные сети<br />
# Обучение с подкреплением<br />
<br />
=== Направления развития ===<br />
DeepMind и Blizzard сделали [https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ песочницу] для StarCraft II, поле для исследований просто безгранично.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)SQuAD (проект)2017-10-04T12:31:09Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=SQuAD<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Проект носит исследовательский характер. Существует интересный датасет известный, как <del>Suicide</del> [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен "прочитать" статью, а затем по вопросу сгенерировать ответ на нее. Уже существует "пачка" научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Нейронные сети для работы с текстами.<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко об обучении с учителем.<br />
# Линейные модели, градиентный спуск.<br />
# Введение в нейронные сети.<br />
# Сверточные сети<br />
# Рекуррентные сети<br />
# Нейронные сети для работы с текстом.<br />
<br />
=== Направления развития ===<br />
# Это достаточно свежая тема для исследований. Изучать статьи и проводить эксперименты можно долго.<br />
# Поиск по английской wikipedia на основе обученной модели.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)SQuAD (проект)2017-10-04T12:18:07Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=SQuAD<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Проект носит исследовательский характер. Существует интересный датасет известный, как <del>Suicide</del> [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен "прочитать" статью, а затем по вопросу сгенерировать ответ на нее. Уже существует "пачка" научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Нейронные сети для работы с текстами.<br />
# Атмосфера исследования.<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко об обучении с учителем.<br />
# Линейные модели, градиентный спуск.<br />
# Введение в нейронные сети.<br />
# Сверточные сети<br />
# Рекуррентные сети<br />
# Нейронные сети для работы с текстом.<br />
<br />
=== Направления развития ===<br />
# Это достаточно свежая тема для исследований. Изучать статьи и проводить эксперименты можно долго.<br />
# Поиск по английской wikipedia на основе обученной модели.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)SQuAD (проект)2017-10-04T12:17:50Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_проекта<br />
|name=SQuAD<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Проект носит исследовательский характер. Существует интересный датасет известный, как <del>Suicide</del> [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен "прочитать" статью, а затем по вопросу сгенерировать ответ на нее. Уже существует "пачка" научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.<br />
<br />
Для того, чтобы попасть на проект, нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Нейронные сети для работы с текстами.<br />
# Атмосфера исследования.<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко о обучении с учителем.<br />
# Линейные модели, градиентный спуск.<br />
# Введение в нейронные сети.<br />
# Сверточные сети<br />
# Рекуррентные сети<br />
# Нейронные сети для работы с текстом.<br />
<br />
=== Направления развития ===<br />
# Это достаточно свежая тема для исследований. Изучать статьи и проводить эксперименты можно долго.<br />
# Поиск по английской wikipedia на основе обученной модели.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/SQuAD_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)SQuAD (проект)2017-10-04T12:15:37Z<p>Simagin.denis: Новая страница, с помощью формы Новый_проект</p>
<hr />
<div>{{Карточка_проекта<br />
|name=SQuAD<br />
|mentor=Симагин Денис<br />
|mentor_login={{URLENCODE:Simagin.denis|WIKI}}<br />
|semester=Осень 2017<br />
|course=2<br />
|summer=<br />
|number_of_students=10<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Проект носит исследовательский характер. Существует интересный датасет известный, как <del>Suicide</del> [https://rajpurkar.github.io/SQuAD-explorer/ SQuAD]. Необходимо предложить алгоритм, который способен "прочитать" статью, а затем по вопросу сгенерировать ответ на нее. Уже существует "пачка" научных статей, посвященных этой задаче. Наша цель заключается в том, чтобы изучить существующие методы и попробовать обучить собственную модель.<br />
<br />
Для того, чтобы попасть на проект нужно пройти собеседование.<br />
<br />
=== Чему вы научитесь? ===<br />
# Чтение научных статей на английском.<br />
# Погружение в машинное обучение.<br />
# Нейронные сети для работы с текстами.<br />
# Атмосфера исследования.<br />
# Ревью кода.<br />
<br />
=== Какие начальные требования? ===<br />
# Машина с UNIX-подобной ОС и мощной видеокартой (возможно облачная)<br />
# Знание Python 3, Git и работа с командной оболочкой.<br />
# Базовые знания в машинном обучении<br />
# Хорошая математическая подготовка<br />
# Английский<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# В качестве основного языка будет Python 3<br />
# Для обучения сейчас принято использовать [https://www.tensorflow.org tensorflow], однако набирает популярность библиотека [https://docs.microsoft.com/en-us/cognitive-toolkit/ cntk] (она шустрая).<br />
# Так же вы можете проводить вычисления на ресурсах [https://aws.amazon.com/ru/ aws] или воспользоваться [https://cloud.google.com google cloud].<br />
<br />
=== Темы вводных занятий ===<br />
# Кратко о обучении с учителем.<br />
# Линейные модели, градиентный спуск.<br />
# Введение в нейронные сети.<br />
# Сверточные сети<br />
# Рекуррентные сети<br />
# Нейронные сети для работы с текстом.<br />
<br />
=== Направления развития ===<br />
# Это достаточно свежая тема для исследований. Изучать статьи и проводить эксперименты можно долго.<br />
# Поиск по английской wikipedia на основе обученной модели.<br />
<br />
=== Критерии оценки ===<br />
# Необходимым, но не достаточным критерием получения "зачет" и выше является доклад на семинаре.<br />
# Для оценки 7 и ниже необходимо в срок выполнять все задания.<br />
# Дополнительные 3 балла распределяются на основании качества вашей модели по сравнению с коллегами.<br />
<br />
=== Ориентировочное расписание занятий ===<br />
Проект предполагает еженедельные встречи для проведения семинаров и отслеживания прогресса. Время будет обсуждаться отдельно с группой. Возможен вариант с утром (8-10) в стенах ШАДа или вечером (7-9) в ВШЭ.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:26:43Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
# Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знание C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
# Как можно реконструировать сцену;<br />
# Детектирование одного объекта на различных снимках;<br />
# Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:26:29Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знание C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
# Как можно реконструировать сцену;<br />
# Детектирование одного объекта на различных снимках;<br />
# Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:26:19Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знания C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
# Как можно реконструировать сцену;<br />
# Детектирование одного объекта на различных снимках;<br />
# Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:25:46Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знания C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
# Как можно реконструировать сцену.<br />
# Детектирование одного объекта на различных снимках.<br />
# Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:25:29Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знания C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
1. Как можно реконструировать сцену.<br />
2. Детектирование одного объекта на различных снимках.<br />
3. Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. Все зависит от вашей дисциплинированности на семинарах и выполнения требований.<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:24:48Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знания C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
1. Как можно реконструировать сцену.<br />
2. Детектирование одного объекта на различных снимках.<br />
3. Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. В основном она будет зависеть от вашей дисциплинированности на семинарах и того, как вы выполняете требования ментора.<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:24:41Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знания C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
1. Как можно реконструировать сцену.<br />
2. Детектирование одного объекта на различных снимках.<br />
3. Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. В основном она будет зависеть от вашей дисциплинированности на семинарах и того, как вы выполняете требования ментора.<br />
<br />
=== Похожие проекты ===<br />
<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/Maps_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)Maps (командный проект)2017-09-21T11:23:58Z<p>Simagin.denis: Новая страница, с помощью формы Новый_командный_проект</p>
<hr />
<div>{{Карточка_командного_проекта<br />
|name=Maps<br />
|company=Yandex<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это образовательно-исследовательский проект. Сегодня делаются первые шаги для автоматического создания карт на основе различных сигналов: снимки спутника, gps-треки, объезды городов (панорамы). Возможны следующие интересные темы:<br />
<br />
# Можно заняться сегментацией снимков спутника, а именно выделение: гидрографии, растительности, зданий и дорог.<br />
# Анализ gps-треков для восстановления и атрибутирования дорожного графа.<br />
# На основе панорам реконструировать сцену и распознать объекты инфраструктуры (дорожные знаки, светофоры, пешеходны переходы, остановки и т.п.).<br />
<br />
Работа будет проходить в формате семинаров. К сожалению, в качестве источников данных можно использовать только открытые.<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
# Изучение современных подходов реконструкции сцены<br />
# Обучение с учителем<br />
# Погружение в исследовательскую деятельность<br />
# Процесс ревью<br />
# Работа на семинарах<br />
# Чтение современных статей<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
# Работа будет проходить в виде семинаров, где будут разбираться статьи и рассматриваться результаты последнего спринта (agile подход).<br />
# Вы будете делать доклады и читать код друг друга.<br />
# Каждый исследует свой кусок.<br />
<br />
=== Компоненеты (Из каких частей состоит проект?) ===<br />
<br />
<br />
=== Какие будут использоваться технологии? ===<br />
* Разработка будет вестись на С++ и Python3.<br />
# Код будет храниться в открытом репозитории github.<br />
# Наиболее вероятно будем использовать [http://opencv.org opencv] и [http://www.pointclouds.org pcl].<br />
# Для обучения моделей tensorflow.<br />
<br />
=== Какие начальные требования? ===<br />
# Знания C++ и Python3<br />
# Хорошая математическая подготовка, основы машинного обучения<br />
# Много свободного времени<br />
# Хорошее знание английского<br />
<br />
=== Темы вводных занятий ===<br />
Темы могут варьироваться от уровня студентов, попробуем разобраться в:<br />
1. Как можно реконструировать сцену.<br />
2. Детектирование одного объекта на различных снимках.<br />
3. Вводная по нейросетям и сегментации.<br />
<br />
=== Критерии оценки ===<br />
Проект исследовательский, поэтому нет четких критериев оценки. В основном она будет зависеть от вашей дисциплинированности на семинарах и того, как вы выполняете требования ментора.<br />
<br />
=== Похожие проекты ===<br />
<br />
<br />
=== Контактная информация ===<br />
С вопросами пишите на @dasimagin в телеграм.</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Simagin.denisУчастник:Simagin.denis2017-08-10T17:42:29Z<p>Simagin.denis: </p>
<hr />
<div>{{Карточка_ментора<br />
|categorize = yes<br />
}}<br />
<br />
[[Файл:profile.jpg|мини|справа|Вот так выглядит Денис Симагин]]<br />
<br />
== Симагин Денис ==<br />
В школе увлекался математикой, программированием. А после ШАДа влюбился в машинное обучение. Работаю в Яндекс.Картах.<br />
<br />
== Образование ==<br />
* Бакалавриат, ВШЭ, Прикладная математика и инфоматика (Нижний Новгород)<br />
<br />
* Магистратура, ВШЭ, Компьютерные науки (Москва)<br />
<br />
* ШАД, Компьютерные науки<br />
<br />
== Интересы ==<br />
* Машинное обучение<br />
<br />
* Большие данные<br />
<br />
* Красивые алгоритмические задачи<br />
<br />
== Контакты ==<br />
E-mail: ''simagin.mail@yandex.ru''<br />
<br />
Telegram: @dasimagin<br />
<br />
Телефон: +7 964-773-48-69</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-19T22:42:44Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===H19.03===<br />
# Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.<br />
# Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.<br />
<br />
'''Задание'''<br />
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. '''Дедлайн:''' 9 апреля.<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 8 марта 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-19T22:42:29Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===H19.03===<br />
1. Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.<br />
2. Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.<br />
<br />
'''Задание'''<br />
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. '''Дедлайн:''' 9 апреля.<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 8 марта 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-19T22:42:16Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || 16 апреля<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || 26 марта<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || 9 апреля<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || 2 апреля<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
===H19.03===<br />
Андрей разобрал статью про DQN, она может пригодиться нам для игр.<br />
<br />
'''Задание'''<br />
Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию MCST. '''Дедлайн:''' 9 апреля.<br />
<br />
===S01.03===<br />
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA<br />
# Double Q-learning<br />
# n-step TD и n-step tree backup<br />
# Поговорил про Monte Carlo tree search<br />
<br />
'''Дополнительное чтение.'''<br />
Не говорил на семинаре, но можно почитать:<br />
# Sample ratio для TD(0) подхода<br />
# Dyna-Q и Dyna-Q+<br />
# Prioritized sweeping<br />
<br />
===S11.02===<br />
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-19T22:40:52Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || 16 апреля<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || 26 марта<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || 9 апреля<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || 2 апреля<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
===H19.03===<br />
Андрей разобрал статью про DQN, она может пригодиться нам для игр.<br />
<br />
**Задание**<br />
Реализовать модель, предсказывающую следующий ход соперника. Реализовать простую версию MCST. '''Дедлайн:''' 9 апреля.<br />
<br />
===S01.03===<br />
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA<br />
# Double Q-learning<br />
# n-step TD и n-step tree backup<br />
# Поговорил про Monte Carlo tree search<br />
<br />
'''Дополнительное чтение.'''<br />
Не говорил на семинаре, но можно почитать:<br />
# Sample ratio для TD(0) подхода<br />
# Dyna-Q и Dyna-Q+<br />
# Prioritized sweeping<br />
<br />
===S11.02===<br />
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-19T22:39:09Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===H19.03===<br />
1. Паша разобрал статью схожую с нашей. Авторы пытаются научить сеть задавать уточняющие вопросы, если это необходимо.<br />
2. Анонсирован семинар на тему генерации датасета, а так же разбор DMN+.<br />
<br />
**Задание**<br />
Воспроизвести DMN (можно в упрощенной версии) на данных bAbI. '''Дедлайн:''' 9 апреля.<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 8 марта 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-19T09:57:06Z<p>Simagin.denis: /* Разбор статьи */</p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || 9 апреля<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || 2 апреля<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || 26 марта<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || 16 апреля<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 8 марта 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-19T09:54:17Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || 16 апреля<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || 26 марта<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || 9 апреля<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || 2 апреля<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
<br />
===S01.03===<br />
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA<br />
# Double Q-learning<br />
# n-step TD и n-step tree backup<br />
# Поговорил про Monte Carlo tree search<br />
<br />
'''Дополнительное чтение.'''<br />
Не говорил на семинаре, но можно почитать:<br />
# Sample ratio для TD(0) подхода<br />
# Dyna-Q и Dyna-Q+<br />
# Prioritized sweeping<br />
<br />
===S11.02===<br />
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-05T13:20:33Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 8 марта 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-05T13:03:43Z<p>Simagin.denis: /* L4 */</p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 2 марта 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-05T13:03:08Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S02.03===<br />
Разбирали результаты L4, начали говорить на тему проекта.<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 2 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-05T13:01:30Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || -<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
<br />
===S01.03===<br />
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA<br />
# Double Q-learning<br />
# n-step TD и n-step tree backup<br />
# Поговорил про Monte Carlo tree search<br />
<br />
'''Дополнительное чтение.'''<br />
Не говорил на семинаре, но можно почитать:<br />
# Sample ratio для TD(0) подхода<br />
# Dyna-Q и Dyna-Q+<br />
# Prioritized sweeping<br />
<br />
===S11.02===<br />
Посвятили семинар обсуждения игры крестиков и ноликов на основе алгоритма DT(0).<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-03-05T12:58:35Z<p>Simagin.denis: /* Разбор статьи */</p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || 19 марта<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 2 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-05T12:54:29Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || -<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
<br />
===S01.03===<br />
# Освежили подход TD(0): SARSA, Q-learning и Expected SARSA<br />
# Double Q-learning<br />
# n-step TD и n-step tree backup<br />
# Поговорил про Monte Carlo tree search<br />
<br />
'''Дополнительное чтение.'''<br />
Не говорил на семинаре, но можно почитать:<br />
# Sample ratio для TD(0) подхода<br />
# Dyna-Q и Dyna-Q+<br />
# Prioritized sweeping<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-05T12:53:50Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || -<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
<br />
===S01.03===<br />
1. Освежили подход TD(0): SARSA, Q-learning и Expected SARSA<br />
2. Double Q-learning<br />
3. n-step TD и n-step tree backup<br />
4. Поговорил про Monte Carlo tree search<br />
<br />
**Дополнительное чтение:**<br />
Не говорил на семинаре, но можно почитать:<br />
1. Sample ratio для TD(0) подхода<br />
2. Dyna-Q и Dyna-Q+<br />
3. Prioritized sweeping<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/%D0%A0%D0%B5%D0%BD%D0%B4%D0%B7%D1%8E_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Рендзю (семинар)2017-03-05T12:45:07Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Рендзю (проект)|проекта]], последний [[Рендзю_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|семинар]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 19:00, каждую среду.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
| Ментор || https://github.com/dasimagin/renju<br />
|-<br />
| Харламов || https://github.com/gamers5a/renju<br />
|-<br />
| Сопов || https://github.com/PreFX48/renju<br />
|-<br />
| Vodim || https://github.com/EterniusVGM/Renju<br />
|-<br />
| Yuriy || https://github.com/yurriy/renju<br />
|-<br />
| Storozh || https://github.com/storandrew/Renju<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
| Харламов || http://web.stanford.edu/~takapoui/linear_bandits.pdf || -<br />
|-<br />
| Сопов || https://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf || -<br />
|-<br />
| Гринберг || https://arxiv.org/pdf/1611.01626.pdf || -<br />
|-<br />
| Баранов || https://arxiv.org/pdf/1611.01224.pdf || -<br />
|-<br />
| Стороженко || https://arxiv.org/pdf/1511.06581v3.pdf || 19 марта<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1VAaIoKGOYkMYKxYMPjHs_TsYabjHo27jA4fiQg_R344/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговое качество игры<br />
<br />
==Семинары==<br />
<br />
===S01.02, S08.02, 15.02, 22.02, 01.03===<br />
Разбор статьи<br />
<br />
<br />
===S01.02===<br />
Обсудили будущее. Всю дальнейшую теорию будем рассматривать сразу в рамках игры рендзю. Также согласовали формат данных для партии.<br />
<br />
'''Формат данных'''<br />
# Каждая партия представляет собой строку в файле (в качестве разделителя используем '\n').<br />
# В начале строки записан результат ''{black, white, draw, unknown}''.<br />
# Далее через пробельный разделитель перечислены ходы игроков в формате столбец-строка.<br />
# Столбцы пронумерованы строчными буквами латинского алфавита .<br />
# Строки пронумерованы арабскими цифрами, начиная с 1.<br />
# Начало координатной сетки в левом нижнем углу.<br />
# Предполагается, что первый ход делают черные.<br />
<br />
'''Пример:''' unknown h8 g9 ...<br />
<br />
<br />
Скрипт для '''справедливого''' распределения заданий по подготовке данных для обучения можно найти [https://github.com/dasimagin/renju/blob/master/data/task.py здесь].<br />
<br />
===S25.01===<br />
# Поговорили на тему [https://en.wikipedia.org/wiki/Multi-armed_bandit многоруких бандитов].<br />
# Начали осваивать [https://en.wikipedia.org/wiki/Reinforcement_learning reinforcment learning].<br />
<br />
Полезная книга может быть найдена [https://webdocs.cs.ualberta.ca/~sutton/book/bookdraft2016sep.pdf здесь].<br />
<br />
===L4===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Сопов || Харламов|| -<br />
|-<br />
| Гринберг || Сопов || -<br />
|-<br />
| Баранов || Гринберг || -<br />
|-<br />
| Стороженко || Баранов || -<br />
|-<br />
| Харламов || Стороженко || -<br />
|}<br />
<br />
Появилась очередная лабораторная работа [https://github.com/dasimagin/renju/blob/master/labs/L4%20-%20Reinforcement%20learning.ipynb L4].<br />
<br />
'''Cроки:'''<br />
* Начало ревью: 11 февраля, 00:00.<br />
* Окончание: 16 февраля, 23:59.<br />
<br />
===S18.01===<br />
В связи с болезнью ментора занятие отменено.<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти [здесь], а baseline доступен [https://github.com/dasimagin/renju/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S14.12===<br />
Начали разбирать нашу [https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf статью]. Есть пара источников на русском:<br />
* [https://ru.wikipedia.org/wiki/AlphaGo Статья] на wikipedia<br />
* [https://habrahabr.ru/post/279071/ Статья] на хабре<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
| Харламов || 4 core, 3,6 GHz || 16GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Сопов || 4 core, 2,7 GHz || 8GB || NVIDIA GTX 940m<br />
|-<br />
| Гринберг || 4 core, 3,6 GHz || 16 GB || NVIDIA GTX 1070 8GB<br />
|-<br />
| Баранов || 4 core, 3,5GHz || 8GB || NVIDIA GTX 960m 2GB<br />
|-<br />
| Стороженко || 6 core 3.0 GHz || 16 GB || NVIDIA GTX 1060 6GB<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S02.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Харламов || Сопов || 9<br />
|-<br />
| Сопов || Гринберг || 10<br />
|-<br />
| Гринберг || Баранов || 8<br />
|-<br />
| Баранов || Стороженко || 10<br />
|-<br />
| Стороженко || Харламов || 8<br />
|}<br />
<br />
Для [https://github.com/dasimagin/renju/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-02-22T22:07:42Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===L5===<br />
Конкур можно найти [https://inclass.kaggle.com/c/en-phonetics здесь].<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 2 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-02-19T13:33:49Z<p>Simagin.denis: /* L4 */</p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 24 февраля 23:59 <br />
* Окончание ревью: 2 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-02-19T13:32:43Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S19.02===<br />
# Доразбирали вычисление градиента для рекуррентных сетей.<br />
# Еще раз поговорили о затухании и взрыве градиента.<br />
<br />
'''Литература для чтения:'''<br />
* Прекрасный блог, где можно прочитать про рекуррентные сети, вот [http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ первая статья], в начале есть ссылки на продолжение.<br />
* Про [http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM] с картинками.<br />
* Tensorflow и [https://www.tensorflow.org/tutorials/recurrent рекурретные] сети.<br />
* Как работать с последовательностями, [https://www.tensorflow.org/tutorials/seq2seq пример] tensorflow.<br />
<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 19 февраля 23:59 <br />
* Окончание ревью: 23 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-02-14T21:06:05Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S09.02, 16.02, 23.02, 02.03, 09.03 ===<br />
Рассказ статей<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:'''<br />
* Начало ревью: 19 февраля 23:59 <br />
* Окончание ревью: 23 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denishttp://wiki.cs.hse.ru/Ask_me_(%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80)Ask me (семинар)2017-02-14T21:04:23Z<p>Simagin.denis: </p>
<hr />
<div>Описание [[Ask_me_(проект)|проекта]], последнее [[Ask_me_(семинар)#.D0.A1.D0.B5.D0.BC.D0.B8.D0.BD.D0.B0.D1.80.D1.8B|занятие]].<br />
<br />
==Правила игры ==<br />
* '''Ментор:''' [[Участник:Simagin.denis|Симагин Денис]].<br />
* '''Место:''' офис Яндекса ([https://maps.yandex.ru/213/moscow/?ll=37.590150%2C55.734065&z=18&l=stv%2Csta&panorama%5Bpoint%5D=37.589416%2C55.733747&panorama%5Bdirection%5D=40.412258%2C-11.910596&panorama%5Bspan%5D=130.000000%2C52.209677 место встречи])<br />
* '''Время:''' c 10:00, каждый четверг.<br />
<br />
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у [https://ya.ru Яндекса]. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.<br />
<br />
===Ключевые точки===<br />
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.<br />
# '''12-17 декабря''' - все включились в работу<br />
# '''20-25 марта''' - реализован объем работ, необходимый для зачета<br />
# '''30 мая - 3 июня''' - окончание проектной работы, вы готовы, как пионеры. <br />
# '''начало июня''' - конкурс проектов.<br />
<br />
===Правило 2Х===<br />
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.<br />
<br />
===Репозитории===<br />
Студенты хранят свой код в следующих репозиториях<br />
{| class="wikitable"<br />
|-<br />
|Ментор || https://github.com/dasimagin/askme<br />
|-<br />
| Когтенков || https://github.com/aakogtenkov/Ask-me-if-you-can<br />
|-<br />
|Остяков || https://github.com/PavelOstyakov/askme<br />
|-<br />
|Рябинин || https://github.com/mryab/askme<br />
|-<br />
|Попов || https://github.com/Akiiino/Ask-Me-Anything<br />
|-<br />
|Ширин || https://github.com/shirinnikita/ask_me<br />
|}<br />
<br />
===Разбор статьи===<br />
В рамках проекта студент должен разобрать интересную для него статью и доложить ее на общем семинаре.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Студент !! Статья !! Дата<br />
|-<br />
|Когтенков || [https://papers.nips.cc/paper/5654-deep-knowledge-tracing.pdf Deep Knowledge Tracing] || -<br />
|-<br />
|Остяков || [https://arxiv.org/pdf/1612.07411v1.pdf A Context-aware Attention Network for Interactive Question Answering] || -<br />
|-<br />
|Рябинин || [https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation] || -<br />
|-<br />
|Попов || [https://arxiv.org/pdf/1701.04189.pdf Deep Memory Networks for Attitude Identification] || -<br />
|-<br />
|Ширин || [https://arxiv.org/abs/1506.06714 Context-Sensitive Generation of Conversational Responses] || -<br />
|}<br />
<br />
===Лабораторные===<br />
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.<br />
<br />
# Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.<br />
# Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).<br />
# Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.<br />
# Когда ревью завершено, влейтесь в мастер и закройте задание.<br />
<br />
===Результаты===<br />
Текущие результаты можно найти [https://docs.google.com/spreadsheets/d/1gO6nHbLqMeLRXAa5Mubpfoc_-gk9DWCJ4mmnV_xaeig/edit?usp=sharing здесь]. Оценка складывается из нескольких частей:<br />
# Работа на семинаре<br />
# Доклад статьи<br />
# Итоговый результат<br />
<br />
==Семинары==<br />
<br />
===S09.02, 16.02, 23.02, 02.03, 09.03 ===<br />
Рассказ статей<br />
===S02.02===<br />
Начали говорить о рекуррентных сетях, я обещал подробнее описать математику обучения.<br />
# Поговорили о [https://en.wikipedia.org/wiki/Recurrent_neural_network рекурретных сетях] в общем<br />
# Архитектура [https://en.wikipedia.org/wiki/Long_short-term_memory LSTM] сети<br />
# Архитектура [https://arxiv.org/pdf/1412.3555v1.pdf GRU] сети<br />
<br />
===S29.01===<br />
Еще раз вернулись к теме word embedding в контексте нейросетей, список затронутых статей:<br />
# [http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf Первая сеть], предсказывающая следующее слово.<br />
# [https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdff Статья], где заменяется softmax<br />
# [https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Статья] Миколова про word2vec.<br />
<br />
===L4===<br />
Лабораторную работу можно найти [https://github.com/dasimagin/askme/blob/master/labs/L4%20-%20Word%20embedding.ipynb здесь].<br />
<br />
'''Срок сдачи:''' 19 февраля 23:59 <br />
'''Окончание ревью:''' 23 февраля 23:59 <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
| Попов || Рябинин || -<br />
|-<br />
| Остяков || Попов || -<br />
|-<br />
| Когтенков || Остяков || -<br />
|-<br />
| Ширин || Когтенков || -<br />
|-<br />
| Рябинин || Ширин || -<br />
|}<br />
<br />
===H11.01===<br />
Произвели разбор L3. Описание модели победителя можно найти, а baseline доступен [https://github.com/dasimagin/askme/blob/master/labs/L3%20-%20Baseline.ipynb здесь].<br />
<br />
Доклады мне не очень понравились. Постараюсь написать общие замечания.<br />
# Прежде всего у докладчика должна быть хорошая речь.<br />
# Нужно выделить то, что действительно важно и интересно для слушателя.<br />
# Делать на доске четкие и простые рисунки и записи, убедиться, что аудитория тебя понимает.<br />
# Не прыгать с темы на тему, а идти в соответсвии с логическим планом.<br />
<br />
===S15.12===<br />
Поговорили про векторное представление слов, word2vec и другие сверточные сети для работы с естественными языками.<br />
<br />
===H11.12===<br />
Занятие было посвящено выполнению второй лабораторной. Интересный ноутбук скоро появится [здесь].<br />
<br />
===S08.12===<br />
'''1. Известные архитектуры сверточных сетей'''<br />
* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet]<br />
* [https://arxiv.org/pdf/1409.1556.pdf VGG net]<br />
* [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet]<br />
* [https://arxiv.org/pdf/1512.03385.pdf ResNet]<br />
'''2. Поговорили:'''<br />
* На что активируются нейроны в зависимости от слоя<br />
* Генерация 'похожих картинок'<br />
* Послойное обучение сети<br />
* Переобучение или дообучение уже готовой сети<br />
'''3. Изучили примеры для библиотеки Keras'''<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ]<br />
* [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети <br />
<br />
===L3===<br />
{| class="wikitable"<br />
|-<br />
! Студент !! CPU !! RAM !! GPU<br />
|- <br />
| Пример || 6 core, 3,5 GHz || 64GB || NVIDIA TITAN X<br />
|-<br />
|Рябинин || 4 core, 3.5 GHz || 16 GB || Nvidia GeForce GTX 1070<br />
|-<br />
| Попов || 4 core, 3.2 GHz || 8 GB || GeForce GTX 750 Ti<br />
|-<br />
| Остяков || 8 core, 2,6 GHz || 50 GB || -<br />
|-<br />
| Когтенков || 2 core, 1.4 GHz || 4 GB || -<br />
|-<br />
| Ширин || 2 core, 1.9 GHz || 8 GB || -<br />
|}<br />
<br />
Победить в [https://inclass.kaggle.com/c/ch-ch конкурсе] классификации, срок 3 января, 23:59.<br />
<br />
Для этого вам понадобится<br />
* Установить [https://www.tensorflow.org Tensorflow] <br />
* Установить [https://keras.io Keras] <br />
* Запастись терпением<br />
<br />
===S01.12===<br />
'''1. Полносвязанные сети:'''<br />
* Подсчитаны производные для [https://en.wikipedia.org/wiki/Backpropagation Backpropagation], обсуждены тонкости реализации.<br />
* Различные виды нелинейности: [https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLu], [https://arxiv.org/pdf/1502.01852v1.pdf PReLu], [https://en.wikipedia.org/wiki/Sigmoid_function Sigmoid].<br />
* Обучение сетей при помощи [https://en.wikipedia.org/wiki/Autoencoder Autoencoder].<br />
<br />
'''2. Сверточные сети:'''<br />
* Cтруктура [https://en.wikipedia.org/wiki/Convolutional_neural_network CNN].<br />
* Затронуты: [https://en.wikipedia.org/wiki/Convolution Convolution], [https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layer Pooling].<br />
* Влияние различных ядер свертки на структуру сети.<br />
* [https://en.wikipedia.org/wiki/Convolutional_neural_network#Choosing_hyperparameters Feature maps].<br />
* Разобрана архитектура [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet].<br />
* Сочетание из Convolutional и Dense слоев.<br />
<br />
===S24.11===<br />
'''1. Регуляризация:'''<br />
* Разобрали L1 и L2 регуляризаторы, можно найти [https://en.wikipedia.org/wiki/Regularization_(mathematics) здесь].<br />
* Используйте простые классификаторы<br />
* Раняя остановка (смотрим качество на отложенном множестве)<br />
* Добавление шума<br />
* Комбинирование классификаторов<br />
<br />
'''2. Полносвязанные сети:'''<br />
* Множественная классификация и [https://en.wikipedia.org/wiki/Softmax_function softmax].<br />
* Метод [http://www.machinelearning.ru/wiki/images/0/0f/karpinskaya-2010.pdf обратного распространения ошибки], проблема при обучении.<br />
* Инициализация весов: и [http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf xavier] и другие [https://arxiv.org/pdf/1502.01852v1.pdf вариации].<br />
* Кратко о [https://en.wikipedia.org/wiki/Convolutional_neural_network#Dropout dropout].<br />
<br />
===L2===<br />
<br />
Задание можно найти [https://github.com/dasimagin/askme/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря.<br />
<br />
===S03.11===<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Признаки] и какие они бывают. Об отборе признаков, кратко [https://habrahabr.ru/post/264915/ тут]. Может помочь на конкурсе.<br />
# Задача [http://www.machinelearning.ru/wiki/index.php?title=Линейный_классификатор бинарной классификации].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_градиентного_спуска Градиентный спуск].<br />
# [http://www.machinelearning.ru/wiki/index.php?title=Метод_стохастического_градиента Стохастический градиентный спуск]. На английской [https://en.wikipedia.org/wiki/Stochastic_gradient_descent вике] больше интересной информации.<br />
<br />
'''Для дополнительного чтения:'''<br />
# [https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf Что полезно знать о машинном обучении].<br />
# [https://en.wikipedia.org/wiki/Feature_(machine_learning) Английская вика про признаки]<br />
# [http://www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf Отбор признаков].<br />
# Мощная теоретическая работа про [https://mipt.ru/upload/medialibrary/d7e/41-91.pdf стохастический градиентный спуск].<br />
<br />
===L1===<br />
{| class="wikitable"<br />
|-<br />
! Ревьюер !! Разработчик !! Оценка<br />
|-<br />
|Рябинин || Попов || 10<br />
|-<br />
| Попов || Остяков || 10<br />
|-<br />
| Остяков || Когтенков || 10<br />
|-<br />
| Когтенков || Ширин || 9.7<br />
|-<br />
| Ширин || Рябинин || 10<br />
|}<br />
<br />
Для [https://github.com/dasimagin/askme/blob/master/labs/L1%20-%20Gradient%20descent%20and%20linear%20models.ipynb первой] лабораторной работы вам потребуется:<br />
# Настроить себе [https://pip.pypa.io/en/stable/ pip] для Python3<br />
# Освоить [http://jupyter.org Jupyter notebook]<br />
# Установить пакеты [http://www.scipy.org scipy]: numpy, scipy, matplotlib</div>Simagin.denis