EM алгоритм (пример)

Материал из MachineLearning.

Версия от 11:40, 23 апреля 2009; Strijov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Содержание

EM-алгоритм — общий метод нахождения оценок функции правдоподобия в моделях со скрытыми переменными. В данной статье рассматривается интерпретация смеси гауссовых распределений в терминах дискретных скрытых переменных.

Постановка задачи

Задана выборка \{(\mathbf{x}_i,y_i)\}_{i=1}^\ell, в которой 

TODO

Требуется найти такие значения параметров \mathbf{w}, которые доставляли бы минимум норме вектора невязки \|f(\mathbf{w},\mathbf{x})-\mathbf{y}\|_2.

Описание алгоритма

Вектор \mathbf{w} определяется с решение нормального уравнения

\mathbf{w}=(X^TX)^{-1}X^T\mathbf{y}.

Вычислительный эксперимент

Цель вычислительного эксперимента - 

y = 1;


Исходный код

Смотри также


Литература

  • Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.


Данная статья является непроверенным учебным заданием.
Студент: Участник:Никита Спирин
Преподаватель: Участник:В.В. Стрижов
Срок: 22 апреля 2009

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://www.recognition.su/wiki/index.php?title=EM_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»