Структурные модели и глубинное обучение (регулярный семинар)
Материал из MachineLearning.
(→Прошедшие заседания) |
|||
| Строка 29: | Строка 29: | ||
:::* | :::* | ||
:::* Практические особенности построения нейросетевых моделей в конкретных приложениях | :::* Практические особенности построения нейросетевых моделей в конкретных приложениях | ||
| + | |||
| + | == Ссылки == | ||
| + | |||
| + | '''Некоторые ссылки''': | ||
| + | # [https://github.com/robertsdionne/neural-network-papers Библиография работ по Deep Learning] | ||
| + | # [http://www.iro.umontreal.ca/~bengioy/dlbook/ Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville] | ||
| + | # [http://videolectures.net/kdd2014_salakhutdinov_deep_learning/ Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014] | ||
| + | # [http://cs231n.stanford.edu/syllabus.html Course: Convolutional Neural Networks for Visual Recognition] | ||
| + | # [http://www.hexahedria.com/2015/08/03/composing-music-with-recurrent-neural-networks/ Composing music with recurrent neural networks] | ||
| + | # [http://arxiv.org/abs/1508.06576 A Neural Algorithm of Artistic Style] | ||
| + | # [http://arxiv.org/abs/1509.01549 Using Deep Reinforcement Learning to Play Chess] | ||
| + | # [http://deeplearning.net просто полезный сайт] | ||
| + | |||
| + | '''Программные библиотеки''': | ||
| + | # [http://deeplearning.net/software/theano/ Theano - питоновский тулбокс для символьных вычислений] | ||
| + | # [https://github.com/goodfeli/theano_exercises упражнения по Theano] | ||
| + | # [http://lasagne.readthedocs.org, https://github.com/Lasagne/Lasagne Lasagne] | ||
| + | # [http://lasagne.readthedocs.org/en/latest/user/tutorial.html Tutorial for Lasagne] | ||
| + | # [https://github.com/dnouri/nolearn Nolearn (обертка для упрощения работы с Lasagne)] | ||
| + | # [http://danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/ Хороший туториал, в котором отражены многие аспекты практического использования глубокого обучения] | ||
| + | # [http://neuralnetworksanddeeplearning.com Онлайн книжка, которая по большому счету является одним длинным туториалом.] | ||
| + | В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению. | ||
| + | # Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. [http://markus.com/install-theano-on-aws/ Вот небольшой мануал] на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины) | ||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] | ||
Версия 16:08, 24 октября 2015
Содержание |
Описание семинара:
Deep Learning – это разновидность машинного обучения, в основе которой лежат нейронные сети. Сегодня на использовании «глубинного обучения» строятся системы распознавания речи, распознавание визуальных объектов (как статических, так и движущихся) и, наконец, взаимодействие компьютерных систем с естественным языком и вычленение смыслов. Многие ученые считают Deep Learning революцией в машинном обучении, см. например, интервью с директором Facebook по искусственному интеллекту Яном Лекуном (Yann LeCun) (перевод)
Цели исследований соответствующей научной группы:
- Разработка новых алгоритмов глубинного обучения (Deep Learning),
- Решение прикладных задач с использованием методов Deep Learning (автоматическое описание изображений/видео, описание 3D формы, анализ нейро-данных, анализ медицинских изображений, и т.п.),
- Теоретические анализ моделей Deep Learning, в т.ч. и с использованием теории структурных моделей
Время заседаний:
Регулярный семинар, проводится в ИППИ РАН по понедельникам в 18-30, ауд. 615.
Научные руководители семинара
Е.В. Бурнаев и В. Г. Спокойный
Организатор семинара
Совместный учебно-научный семинар магистерской программы Математические методы оптимизации и стохастики Факультета Компьютерных наук НИУ ВШЭ, Института проблем передачи информации РАН и Лаборатории ПреМоЛаб МФТИ. Куратор семинара Евгений Бурнаев (профили в НИУ ВШЭ и на MathNet.ru)
Прошедшие заседания
Заседание 1 (19 октября)
- Введение в нейронные сети: обзор основных математических моделей нейронных сетей, приложения
- Программные библиотеки для моделирования нейронных сетей, туториалы к ним
Заседание 2 (26 октября)
- Практические особенности построения нейросетевых моделей в конкретных приложениях
Ссылки
Некоторые ссылки:
- Библиография работ по Deep Learning
- Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville
- Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014
- Course: Convolutional Neural Networks for Visual Recognition
- Composing music with recurrent neural networks
- A Neural Algorithm of Artistic Style
- Using Deep Reinforcement Learning to Play Chess
- просто полезный сайт
Программные библиотеки:
- Theano - питоновский тулбокс для символьных вычислений
- упражнения по Theano
- https://github.com/Lasagne/Lasagne Lasagne
- Tutorial for Lasagne
- Nolearn (обертка для упрощения работы с Lasagne)
- Хороший туториал, в котором отражены многие аспекты практического использования глубокого обучения
- Онлайн книжка, которая по большому счету является одним длинным туториалом.
В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
- Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. Вот небольшой мануал на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
