Исследование скорости сходимости параметров и гиперпараметров (пример)
Материал из MachineLearning.
(Новая: {{TOCright}} Для фиксированной регрессионной модели исследуется скорость сходимости параметров и гиперпа...) |
(→Постановка задачи) |
||
| Строка 19: | Строка 19: | ||
3) модель <tex>y = a + \frac{b}{x}</tex> | 3) модель <tex>y = a + \frac{b}{x}</tex> | ||
| - | + | 4) модель <tex>y = a + b\, e^{-cx}</tex> | |
| - | + | 5) модель трехпараметрического распределения Вейбулла <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex> | |
| - | + | 6) модель с тригонометрическими функциями <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex> | |
Для каждой модели происходит настройка через двухуровневый байесовский вывод. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки в каждой модели. | Для каждой модели происходит настройка через двухуровневый байесовский вывод. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки в каждой модели. | ||
Версия 01:01, 16 декабря 2010
|
Для фиксированной регрессионной модели исследуется скорость сходимости параметров и гиперпараметров при ее настройке через двухуровневый байесовский вывод.
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными:
Пусть случайная величина имеет нормальное распределение
.
Вектор параметров модели рассматривается как многомерная случайная величина. Пусть плотность распределения параметров имеет вид многомерного нормального распределения
с матрицей ковариации
.
Рассматриваются 3 типа моделей:
1) модель полиномиальной регрессии
2) модель
3) модель
4) модель
5) модель трехпараметрического распределения Вейбулла
6) модель с тригонометрическими функциями
Для каждой модели происходит настройка через двухуровневый байесовский вывод. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки в каждой модели.
