Участник:Burnaevevgeny
Материал из MachineLearning.
(→Современная непараметрическая байесовская статистика) |
(→Современная непараметрическая байесовская статистика) |
||
| Строка 110: | Строка 110: | ||
Занятие (31 октября) | Занятие (31 октября) | ||
| - | ::::* занятия не | + | ::::* занятия не было |
Занятие 8 (7 ноября) [6] | Занятие 8 (7 ноября) [6] | ||
| Строка 120: | Строка 120: | ||
::::* связь между RKHS, Kernel Ridge Regression и Gaussian Process Regression | ::::* связь между RKHS, Kernel Ridge Regression и Gaussian Process Regression | ||
::::* Bayesian Optimization на основе Gaussian Process Regression | ::::* Bayesian Optimization на основе Gaussian Process Regression | ||
| - | |||
Занятие 10 (21 ноября) | Занятие 10 (21 ноября) | ||
| - | ::::* | + | ::::* занятия не было |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
Занятие 11 (28 ноября) | Занятие 11 (28 ноября) | ||
| + | ::::* разбор домашнего задания | ||
| + | ::::* проведение второй части контрольной работы по курсу | ||
| + | ::::* моделирование кластеризации с помощью процессов Дирихле и применение | ||
| + | методов Монте-Карло для оценки параметров кластеров и их количества | ||
Занятие 12 (5 декабря) | Занятие 12 (5 декабря) | ||
| + | ::::* представление Sethuraman для процесса Дирихле | ||
| + | ::::* смеси процессов Дирихле | ||
| + | ::::* состоятельность непараметрических байесовских выводов | ||
Занятие 13 (12 декабря) | Занятие 13 (12 декабря) | ||
Версия 14:19, 27 ноября 2015
Евгений Бурнаев
к.ф.-м.н., доцент, зав. сектором Интеллектуального Анализа Данных и Моделирования, Институт проблем передачи информации РАН
Лекционный курс. Осень 2015
Современная непараметрическая байесовская статистика
5 курс, программа "Математические методы оптимизации и стохастики"
Время проведения: суббота, с 15.20 до 18.10
Место проведения: ИППИ РАН, 615 аудитория
Аннотация
В последние годы байесовские методы широко применяются в статистическом оценивании наряду с методами, основанными на чисто вероятностном подходе. Байесовские методы обладают рядом привлекательных свойств с точки зрения приложений: они позволяют учесть априорные знания о задаче, получить более устойчивое решение, смоделировать сложное взаимодействие между компонентами задачи. Существующие курсы излагают большое количество таких методов, однако не дают фундаментального представления о байесовской статистике в целом и границах ее применимости — таким образом, не позволяя студенту в полной мере использовать байесовский подход в случае решения нестандартной статистической задачи.
В данном курсе излагается задача теоретического обоснования непараметрической байесовской статистики, решенная на достаточном уровне математической строгости относительно недавно. Изложение практических приложений байесовской статистики в курсе ведется с позиций и практического, и теоретического исследователя: с одной стороны показано как предложенные методы работают на реальных задачах, с другой стороны дается обоснование того, почему такие методы будут работать, какие у них теоретические ограничения и как наиболее успешно можно их применять.
Курс разбит на три смысловые части: во введении даются теоретические результаты для параметрической байесовской статистики, далее излагается теория непараметрической байесовской статистики , в заключительной части на примере регрессии гауссовских процессов показано как для сложных непараметрических байесовских моделей могут быть получены оценки риска, и как с помощью такого подхода могут решаться различные прикладные задачи математической статистики.
В результате освоения программы курс студент:
- сможет оценивать теоретическую привлекательность использования байесовского подхода в конкретной прикладной задаче;
- освоит аппарат параметрической и непараметрической байесовской статистики;
- получит в распоряжение инструменты для работы с непараметрическими байесовскими методами.
Организация занятий Курс состоит из сдвоенных пар, состоящих из одной лекции и одного семинара каждая. Студентам в течении курса выдается 2–3 задания (решение задач, статистическое моделирование) для домашней работы. Также в течении семестра предполагается проведение 2-х самостоятельных работ.
Домашние задания
- Задание 1. Задание необходимо прислать до 5 ноября включительно
- Задание 2. Задание необходимо прислать до 22 ноября включительно
- Задание 3. Задание необходимо прислать до 6 декабря включительно
Программа курса
1. Введение в байесовскую статистику
- Пространство априорных распределений. Виды априорных распределений: информативное, неинформативное, сопряженное, Джефри. Априорное распределение с геометрической точки зрения.
- Состоятельность и устойчивость априорного распределения. Теорема Дуба и условия Вальда.
- Асимптотическая нормальность апостериорного распределения и теорема Бернштейна-фон Мизеса.
- Перестановочность и теорема де Финетти.
2. Непараметрическая байесовская статистика
- Пространство M вероятностных распределений на конечном множестве и на R. Расстояния между распределениями.
- Пространство априорных распределений для вероятностных распределений из M.
- Распределение Дирихле. Свойства распределение Дирихле.
- Случайный процесс Дирихле. Свойства случайного процесса Дирихле. Использование случайного процесса Дирихле как априорного распределения.
- Теоремы о состоятельности непараметрической байесовской статистики.
3. Приложения непараметрической байесовской статистики
- Байесовская непараметрическая оценка плотности.
- Гауссовские случайные процессы. Регрессия на основе Гауссовских процессов.
- Адаптивное планирование эксперимента и суррогатная оптимизация на основе Гауссовских процессов.
- Теореме Бернштейна-фон-Мизеса для регрессии на основе Гауссовских процессов.
- Оценки риска для регрессии на основе гауссовских процессов с использованием аппарата непараметрической байесовской статистики.
Прошедшие занятия
Занятие 1 (5 сентября)
- организационные вопросы
- обзор параметрической байесовской статистики [3], [11], [13], [14]
- классификация, регрессия, кластеризация
- байесовское моделирование
- предпосылки байесовского моделирования
- байесовский выбор модели
- классы априорных распределений
Занятие 2 (12 сентября)
- обзор параметрической байесовской статистики [3], [11], [13], [14]
- байесовский выбор модели
- приближенные методы для оценки апостериорного распределения: Laplace Approximation, BIC criterion, Variational lower bound, Variational Bayesian EM algorithm, Expectation propagation
- обзор методов Монте-Карло: rejection sampling, importance sampling, MCMC
Занятие 3 (19 сентября) [14]
- байесовская линейная регрессия
Занятие 4 (26 сентября) [15]
- Теорема де-Финетти
- Байесовская теория принятия решений, связь между аспотериорным, байесовским и минимаксным решающими правилами
- различные подходы к выборку априорного распределения
- априорное распределение на основе распределения Дирихле
- сопряженные априорные распределения
- апостериорное распределение для гауссовской модели и соответствующего сопряженного распределения параметров
- априорное распределение Jeffrey
- reference prior distribution
Занятие (3 октября)
- занятия не было
Занятие 5 (10 октября) [4]
- состоятельность и робастность апостериорного распределения
- асимптотическая нормальность оценки максимума правдоподобия и теорема Бернштейна-фон Мизеса
- теорема Колмогорова о продолжении вероятностной меры
Занятие 6 (17 октября) [4], [16]
- контрольная работа 1
- априорное распределение на пространстве вероятностных мер
- дискретные вероятностные меры
- распределение Дирихле и его свойства
- определение процесса Дирихле
Занятие 7 (24 октября) [4], [16]
- процесс Дирихле и его свойства
- апостериорное распределение в случае процессов Дирихле
- генерация реализации процесса Дирихле
- связь процессов Дирихле и кластеризации
- урновая схема Пойа
- chinese restaurant process
Занятие (31 октября)
- занятия не было
Занятие 8 (7 ноября) [6]
- Использование гауссовских случайных полей в качестве априорных распределений на пространстве функций
- Регрессия на основе гауссовских процессов
- Разбор домашнего задания
Занятие 9 (14 ноября) [6]
- связь между RKHS, Kernel Ridge Regression и Gaussian Process Regression
- Bayesian Optimization на основе Gaussian Process Regression
Занятие 10 (21 ноября)
- занятия не было
Занятие 11 (28 ноября)
- разбор домашнего задания
- проведение второй части контрольной работы по курсу
- моделирование кластеризации с помощью процессов Дирихле и применение
методов Монте-Карло для оценки параметров кластеров и их количества
Занятие 12 (5 декабря)
- представление Sethuraman для процесса Дирихле
- смеси процессов Дирихле
- состоятельность непараметрических байесовских выводов
Занятие 13 (12 декабря)
Литература
- I. Castillo, R. Nickl, et al. Nonparametric bernstein–von mises theorems in gaussian white noise. The Annals of Statistics, 41(4):1999–2028, 2013.
- S. Ghosal et al. Asymptotic normality of posterior distributions in high-dimensional linear models. Bernoulli, 5(2):315–331, 1999.
- J.K. Ghosh, D. Mohan, and S. Tapas. An introduction to Bayesian analysis. Springer New York, 2006.
- J.K. Ghosh and R.V. Ramamoorthi. Bayesian nonparametrics. Springer, 2003.
- B. Kleijn, A.W. van der Vaart, and H. van Zanten. Lectures on Nonparametric Bayesian Statistics. Springer, 2013.
- C.E. Rasmussen and C.K.I. Williams. Gaussian processes for machine learning, volume 1. MIT press Cambridge, MA, 2006.
- H. Snoussi and A. Mohammad-Djafari. Information geometry and prior selection. In AIP Conference Proceedings, volume 659, page 307, 2003.
- V. Spokoiny. Basics of Modern Parametric Statistics. Springer, 2013.
- T. Suzuki. Pac-bayesian bound for gaussian process regression and multiple kernel additive model. In JMLR Workshop and Conference Proceedings, volume 23, pages 8–1, 2012.
- A.W. van der Vaart and J.H. Van Zanten. Rates of contraction of posterior distributions based on gaussian process priors. The Annals of Statistics, 1(1):1435–1463, 2008.
- L. Wasserman. All of statistics: a concise course in statistical inference. Springer, 2003.
- И.А. Ибрагимов and Р.З. Хасьминский. Асимптотическая теория оценивания. Наука, 1979.
- Д.П. Ветров. Байесовские методы машинного обучения. Курс лекций. [1]
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Robert, C., The Bayesian Choice (2nd Edition), Springer, 2001.
- Van der Vaart. Lecture notes on nonparametric Bayesian statistics, 2012. [2]
