Рендзю (семинар) — различия между версиями
| Строка 50: | Строка 50: | ||
==Семинары== | ==Семинары== | ||
| + | ===S08.12=== | ||
| + | '''1. Известные архитектуры сверточных сетей''' | ||
| + | * [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Alexnet] | ||
| + | * [https://arxiv.org/pdf/1409.1556.pdf VGG net] | ||
| + | * [https://arxiv.org/pdf/1409.4842v1.pdf GoogLeNet] | ||
| + | * [https://arxiv.org/pdf/1512.03385.pdf ResNet] | ||
| + | '''2. Поговорили:''' | ||
| + | * На что активируются нейроны в зависимости от слоя | ||
| + | * Генерация 'похожих картинок' | ||
| + | * Послойное обучение сети | ||
| + | * Переобучение или дообучение уже готовой сети | ||
| + | '''3. Изучили примеры для библиотеки Keras''' | ||
| + | * [https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Полносвязанная сеть] | ||
| + | * [https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py Сверточная сеть ] | ||
| + | * [https://github.com/fchollet/keras/blob/master/examples/mnist_transfer_cnn.py Переобучение] сверточной сети | ||
| + | |||
| + | ===L3=== | ||
| + | Задание можно найти [здесь], срок 23:59 31 декабря. | ||
| + | |||
===S24.11=== | ===S24.11=== | ||
'''1. Регуляризация:''' | '''1. Регуляризация:''' | ||
| Строка 81: | Строка 100: | ||
|} | |} | ||
| − | Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 | + | Задание можно найти [https://github.com/dasimagin/renju/blob/master/labs/L2%20-%20Nets.ipynb здесь], срок 23:59 11 декабря. |
===S02.11=== | ===S02.11=== | ||
Версия 14:52, 8 декабря 2016
Описание проекта, последний семинар.
Содержание
Правила игры
- Ментор: Симагин Денис.
- Место: офис Яндекса (место встречи)
- Время: c 19:00, каждую среду.
Общение с ментором вне занятий приветствуется. Можно задавать вопросы, в том числе философские. Но перед тем, как написать, попробуйте спросить это у Яндекса. Также не обижайтесь, если в ответ вам пришла ссылка на документацию или какую-то статью.
Ключевые точки
Сверху нам спущены ключевые точки выполнения проекта. Для нас они скорее явлются формальными, тем не менее мы должны их соблюдать.
- 12-17 декабря - все включились в работу
- 20-25 марта - реализован объем работ, необходимый для зачета
- 30 мая - 3 июня - окончание проектной работы, вы готовы, как пионеры.
- начало июня - конкурс проектов.
Правило 2Х
У вас есть право на одну ошибку. Следующая - я отказываюсь с вами работать.
Репозитории
Студенты хранят свой код в следующих репозиториях
Лабораторные
Лабораторные проводятся для практического закрепления материала. Их выполнение учитывается в итоговой оценке.
- Результатом работы является jupyter notebook, где сохранен вывод вашего кода, графики и т.п. А так же его импорт в формат .py. Для автоматизации процесса можно настроить jupyter.
- Когда сроки выполнения лабораторной завершены, вы выкладываете ее на ревью, создавая соответствующее задание и запрос на объединение ветки с мастером (не забудьте добавить проверяющего).
- Ваш коллега проводит ревью кода и может оставлять замечания, как в виде комментариев к заданию, так и в файле .py. Оно предполагает проверку стиля и правильность кода, а также конструктивные замечания по производительности. Однако не стремитесь сразу оптимизировать код. Добейтесь лучше того, чтобы все работало правильно.
- Когда ревью завершено, влейтесь в мастер и закройте задание.
Результаты
Текущие результаты можно найти здесь. Оценка складывается из нескольких частей:
- Работа на семинаре
- Доклад статьи
- Итоговое качество игры
Семинары
S08.12
1. Известные архитектуры сверточных сетей
2. Поговорили:
- На что активируются нейроны в зависимости от слоя
- Генерация 'похожих картинок'
- Послойное обучение сети
- Переобучение или дообучение уже готовой сети
3. Изучили примеры для библиотеки Keras
- Полносвязанная сеть
- Сверточная сеть
- Переобучение сверточной сети
L3
Задание можно найти [здесь], срок 23:59 31 декабря.
S24.11
1. Регуляризация:
- Разобрали L1 и L2 регуляризаторы, можно найти здесь.
- Используйте простые классификаторы
- Раняя остановка (смотрим качество на отложенном множестве)
- Добавление шума
- Комбинирование классификаторов
2. Полносвязанные сети:
- Множественная классификация и softmax.
- Метод обратного распространения ошибки, проблема при обучении.
- Инициализация весов: и xavier и другие вариации.
- Кратко о dropout.
L2
| Ревьюер | Разработчик | Оценка |
|---|---|---|
| Сопов | Харламов | |
| Гринберг | Сопов | |
| Баранов | Гринберг | |
| Стороженко | Баранов | |
| Харламов | Стороженко |
Задание можно найти здесь, срок 23:59 11 декабря.
S02.11
- Признаки и какие они бывают. Об отборе признаков, кратко тут. Может помочь на конкурсе.
- Задача бинарной классификации.
- Градиентный спуск.
- Стохастический градиентный спуск. На английской вике больше интересной информации.
Для дополнительного чтения:
- Что полезно знать о машинном обучении.
- Английская вика про признаки
- Отбор признаков.
- Мощная теоретическая работа про стохастический градиентный спуск.
L1
| Ревьюер | Разработчик | Оценка |
|---|---|---|
| Харламов | Сопов | 9 |
| Сопов | Гринберг | 10 |
| Гринберг | Баранов | 8 |
| Баранов | Стороженко | 10 |
| Стороженко | Харламов | 8 |
Для первой лабораторной работы вам потребуется:
- Настроить себе pip для Python3
- Освоить Jupyter notebook
- Установить пакеты scipy: numpy, scipy, matplotlib
