Обсуждение:Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (викификация)
Строка 40: Строка 40:
::Спасибо большое за разъяснение!
::Спасибо большое за разъяснение!
::[[Участник:Марина|Марина Дударенко]] 20:27, 15 ноября 2009 (MSK) Дударенко Марина
::[[Участник:Марина|Марина Дударенко]] 20:27, 15 ноября 2009 (MSK) Дударенко Марина
 +
 +
----
 +
 +
Здравствуйте! Не могли бы вы проверить, правильно ли я вывел формулы для M-шага EM-алгоритма в случае авторегрессионной скрытой марковской модели:
 +
 +
<tex>\textstyle\mu_{j^*} = \frac{\sum_{i=1}^N \gamma(t_{ij^*})\(x_i - \sum_{m=1}^Mc_{mj^*}x_{i-m}\)}{\sum_{i=1}^N \gamma(t_{ij^*})}</tex>;
 +
 +
<tex>\textstyle\Sigma = \frac
 +
{\sum_{j=1}^K \sum_{i=1}^N \gamma(t_{ij})\(x_i - \sum_{m=1}^Mc_{mj}x_{i-m}\)^T\(x_i - \sum_{m=1}^Mc_{mj}x_{i-m}\)}
 +
{\sum_{i=1}^N \gamma(t_{ij^*})}</tex>;
 +
 +
<tex>\textstyle c_{m^*j^*} = \frac
 +
{\sum_{i=1}^N \gamma(t_{ij}) x_{i-m^*}^T \left(x_i - \mu_{j^*} - \sum_{m\not=m^*}\left(c_{mj^*}x_{i-m}\right) \right)}
 +
{\sum_{i=1}^N \gamma(t_{ij^*}) x_{i-m^*}^T x_{i-m^*} }</tex>;
 +
 +
[[Участник:Василий Ломакин|Василий Ломакин]] 10:43, 23 ноября 2009 (MSK)

Версия 07:43, 23 ноября 2009

Добрый день! Возник вопрос по поводу задания 3. Нашёл следующие непонятные для себя моменты:

  • «где c_{0,j},\ldots,c_{M,j} — коэффициенты авторегрессии, которые зависят от состояния СММ.» Т.е коэффициентов М+1 штука. В то же время в описании функций сказано: «C — коэффициенты авторегрессии, матрица типа double размера K x M;» Не ясно, где ошибка - M или М+1.
  • \mu_{n,j}=c_{0,j}+\sum_{m=1}^Mc_{m,j}x_{n-m}, где c_{0,j} - число, c_{m,j}x_{n-m} - вектор, получается сложение вектора с числом. Хотя если смотреть с точки зрения матлаба, вопрос отпадает :)
  • В описании функций указано «Mu — константы в центрах гауссиан для каждого состояния, матрица типа double размера K x d, в которой в каждой строке стоит вектор для соответствующего состояния; ». Но по формуле Mu на каждом шаге генерится только с помощью авторегрессии. Для чего тогда передавать этот параметр?

Василий Ломакин 20:14, 1 ноября 2009 (MSK)

Василий, здравствуйте. По сути, в Вашем вопросе уже содержатся ответы:
  • Матрица C\in\mathbb{R}^{K\times M;
  • В качестве величины c_{0,j} используйте d-мерный вектор Mu_j из спецификации СММ;
  • Коэффициенты авторегрессии c_{m,j} считаем общими для всех размерностей вектора x_n. Таким образом, :получаем линейную комбинацию векторов и никаких некорректностей не возникает.
Желаю Удачи.
--Д.П. Ветров 16:15, 2 ноября 2009 (MSK)
Я так и подумал (собственно так уже и реализовал), но на всякий случай решил уточнить. Спасибо за интересное задание!
Василий Ломакин 08:41, 3 ноября 2009 (MSK)

Здравствуйте! Появился вопрос по поводу 1 варианта 2 задания.

При реализации функции HMM_TEST нужно хранить величину lj (сколько моментов времени мы находимся в данном состоянии) для каждого t(n,j). Как рассчитывать эту величину, если мы не знаем ни того состояния, в котором находимся в начальный момент времени, ни того состояния, куда переходим? Или нужно делать полный перебор для состояния t(n-1,i) по состояниям t(n,j), то есть из каждого состояния можем попасть в одно из К?

Надеюсь на Ваши разъяснения! Извините за корявый вопрос, лучше сформулировать не удалось.

Марина Дударенко 14:30, 13 ноября 2009 (MSK)

Один из возможных способов решения задачи — вводить функцию Беллмана V_n(j) как стоимость оптимальной траектории при условии, что в момент времени n мы находимся в состоянии j, причем в следующий момент времени произойдет переход в другое состояние. Пусть a и b — соответственно минимально и максимально допустимая длина одного сегмента. Тогда функция Беллмана V_n(j) вычисляется как максимум по моментам времени k = n-b,\dots,n-a ситуаций, что в момент времени k был переход в состояние j и затем в этом состоянии мы находились n-k отсчетов. Таким образом, в отличие от классического алгоритма Витерби здесь пересчет идет по моментам смены состояния сигнала. Сложность алгоритма соответственно возрастает в b-a раз.
Д.А. Кропотов 20:53, 13 ноября 2009 (MSK)
Спасибо большое за разъяснение!
Марина Дударенко 20:27, 15 ноября 2009 (MSK) Дударенко Марина

Здравствуйте! Не могли бы вы проверить, правильно ли я вывел формулы для M-шага EM-алгоритма в случае авторегрессионной скрытой марковской модели:

\textstyle\mu_{j^*} = \frac{\sum_{i=1}^N \gamma(t_{ij^*})\(x_i - \sum_{m=1}^Mc_{mj^*}x_{i-m}\)}{\sum_{i=1}^N \gamma(t_{ij^*})};

\textstyle\Sigma = \frac {\sum_{j=1}^K \sum_{i=1}^N \gamma(t_{ij})\(x_i - \sum_{m=1}^Mc_{mj}x_{i-m}\)^T\(x_i - \sum_{m=1}^Mc_{mj}x_{i-m}\)} {\sum_{i=1}^N \gamma(t_{ij^*})};

\textstyle c_{m^*j^*} = \frac {\sum_{i=1}^N \gamma(t_{ij}) x_{i-m^*}^T \left(x_i - \mu_{j^*} - \sum_{m\not=m^*}\left(c_{mj^*}x_{i-m}\right) \right)} {\sum_{i=1}^N \gamma(t_{ij^*}) x_{i-m^*}^T x_{i-m^*} };

Василий Ломакин 10:43, 23 ноября 2009 (MSK)

Источник — «http://www.recognition.su/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%A1%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%BD%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D1%81%D0%B8%D0%B3%D0%BD%D0%B0%D0%BB%D0%BE%D0%B2_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%90.%D0%A1._%D0%9A%D0%BE%D0%BD%D1%83%D1%88%D0%B8%D0%BD%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%2C_%D0%9E.%D0%92._%D0%91%D0%B0%D1%80%D0%B8%D0%BD%D0%BE%D0%B2%D0%B0%2C_%D0%92.%D0%A1._%D0%9A%D0%BE%D0%BD%D1%83%D1%88%D0%B8%D0%BD%2C_2009%29»