Материал из MachineLearning.
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
,
где 
. Будем считать, что ошибка
это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно
дифференцируемая плотность })
, с параметром 
.
Относительно весов 
, которые будем называть параметрами модели, сделаем аналогичные
предположения, т.е. что })
, с параметром 
. Гиперпараметрами модели будем называть пару параметров указанных выше распределений
)
. Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных , \;j=1...N\})
:
,
