Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020

Материал из MachineLearning.

Фундаментальные теоремы машинного обучения

Мотивация

• Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
• Подготовка сборника коллективом авторов.

Содержание 1 Темы лекций 2 Сылка на проект 3 Расписание лекций 4 Темы докладов 5 Расписание докладов 6 Для справки 7 О защите дипломных работ

Темы лекций

1. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
2. Метод главных компонент Рао и разложение Карунена-Лоэва
3. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
4. Теорема о бесплатных обедах в машинном обучении, Волперт
5. Метрические пространства: RKHS Аронжайн, теорема Мерсера
6. Теорема схем, Холланд
7. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
8. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
9. РАС-learning, теорема о том, что сжатие предполагает обучаемость
10. Representer theorem, Schölkopf, Herbrich, and Smola
11. Вариационная аппроксимация
12. Сходимость про вероятности при выборе моделей
13. Теорема о связи распределений в экспонентном семействе
14. (? Теорема про бандитов)
15. (? Копулы и теорема Скляра)
16. The Gauss-Markov Theorem

Предлагаемый план изложения материала:

1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
3. Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
4. Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему

Сылка на проект

• Intelligent-Systems-Phystech/FundamentalTheoremsML

Расписание лекций

Дата (можно менять, но согласовывать с другими)	Тема	Лектор	Ссылки
19 февраля	Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
26 февраля	Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях	Марк Потанин
4 марта	Берштейн - фон Мизес	Андрей Грабовой
11 марта	РАС обучаемость, теорема о том, что сжатие предполагает обучаемость	Тамаз Гадаев
18 марта	Теорема о бесплатных обедах в машинном обучении, Волперт	Радослав Нейчев
25 марта	Сходимость про вероятности при выборе моделей	Марк Потанин
1 апреля	Теорема схем, Холланд	Радослав Нейчев
8 апреля	Метрические пространства: RKHS Аронжайн, теорема Мерсера
15 апреля	Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей	Филипп Никитин
22 апреля	Representer theorem, Schölkopf, Herbrich, and Smola
29 апреля	Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)	Филипп Никитин
6 мая	Вариационная аппроксимация, теорема о байесовском выборе моделей	Олег Бахтеев

Темы докладов

Источник: научные статьи последних лет. Продолжительность: 30 минут.

Цели:

1. Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
2. Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.

Рекомендации к стилю изложения:

• дать основные определения этой области,
• вводимые обозначения должны быть удобны и непротиворечивы,
• используемые термины должны быть точны,
• дать теоретические постановки задач,
• желательно (!) привести теоретические примеры решения и его основные свойства,
• представить математические методы,
• привести примеры прикладных задач.

Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.

Не рекомендуется:

• копипаста из статей, особенно бессмысленная,
• увеличение объема материала за счет снижения качества,
• использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.

Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).

1. Байесовское программирование, проблемы и тренды (Салахутдинов)
2. Онлайновое обучение, проблемы и новости
3. Байесовские решающие деревья в задачах анализа текстов
4. Порождающие модели (гетерогенные, Исаченко)
5. Достижения и проблемы RL
6. Active learning
7. Привилегированное обучение
8. Частичное обучение (Semi-supervised learning, Transductive learning)
9. Косвенное обучение (Transfer learning)
10. Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
11. Атаки на сети: теоретический анализ

Расписание докладов

Дата (можно менять, но согласовывать с другими)	Тема	Докладчик	Ссылки
19 февраля	Достижения и проблемы RL	Гришанов Алексей	презентация
26 февраля	Онлайновое обучение, новости и проблемы
4 марта	Анализ апостериорного распределения в сетях глубокого обучения	Аминов Тимур	презентация
11 марта	Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS	Маркин Валерий	Презентация Вопросы
18 марта	Порождающие модели (гетерогенные, Исаченко)	Садиев Абдурахмон	Презентация Вопросы
25 марта	Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон	Григорьев Алексей	презентация
1 апреля	Частичное обучение (Semi-supervised learning, Transductive learning)	Вареник Наталия	презентация вопросы
8 апреля	Косвенное обучение (Transfer learning)	Северилов Павел	презентация вопросы
15 апреля	Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей	Безносиков Александр	Презентация Вопросы
22 апреля	Active learning	Юсупов Игорь	презентация
29 апреля	Атаки на сети: теоретический анализ	Панченко Святослав	Презентация к докладу Вопросы
6 мая	Байесовское программирование, проблемы и тренды (Салахутдинов)

Для справки

• Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
• Короткий адрес страницы http://bit.ly/2U3ExKd
• 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
• Основная статья

О защите дипломных работ

• Базовые требования
• Критерии оценивания
• Требования МФТИ

Структура введения

• Пример 1
• Пример 2

Структура презентации

• Пример 1,
• Пример 2
• Пример 3
• Пример 4
• Пример 5

Отзыв научного руководителя

• Пример 1
• Примеры