Многомерное нормальное распределение

Материал из MachineLearning.

(Различия между версиями)

Bogdan (Обсуждение | вклад)
(Новая: '''Многоме́рное норма́льное распределе́ние''' (или '''многоме́рное га́уссовское распределе́ние''') в [[Те...)
К следующему изменению →

Версия 14:29, 19 ноября 2009

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения.

Определения

Случайный вектор $\mathbf{X} = (X_1,\ldots, X_n)^{\top}: \Omega \to \mathbb{R}^n$ имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

Произвольная линейная комбинация компонентов вектора $\sum\limits_{i=1}^n a_i X_i$ имеет нормальное распределение или является константой.
Существует вектор независимых стандартных нормальных случайных величин $\mathbf{Z}=(Z_1,\ldots, Z_m)^{\top}$ , вещественный вектор $\mathbf{\mu} = (\mu_1,\ldots, \mu_m)^{\top}$ и матрица $\mathbf{A}$ размерности $n \times m$ , такие что:

$\mathbf{X} = \mathbf{A} \mathbf{Z} + \mathbf{\mu}$ .

Существует вектор $\mathbf{\mu} \in \mathbb{R}^n$ и неотрицательно определённая симметричная матрица $\mathbf{\Sigma}$ размерности $n \times n$ , такие что плотность вероятности вектора $\mathbf{X}$ имеет вид:

$f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi )^{n/2} | \Sigma |^{1/2}} e^{-\frac{1}{2}(\mathbf{x} - \mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} - \mathbf{\mu})},\; \mathbf{x} \in \mathbb{R}^n$ ,

где $| \Sigma |$ — определитель матрицы $\Sigma$ , а $\Sigma^{-1}$ — матрица обратная к $\Sigma$ .

Существует вектор $\mathbf{\mu} \in \mathbb{R}^n$ и неотрицательно определённая симметричная матрица $\mathbf{\Sigma}$ размерности $n \times n$ , такие что характеристическая функция вектора $\mathbf{X}$ имеет вид:

$\phi_{\mathbf{X}}(\mathbf{u}) = e^{i \mathbf{\mu}^{\top} \mathbf{u} - \frac{1}{2}\mathbf{u}^{\top} \Sigma \mathbf{u}},\; \mathbf{u} \in \mathbb{R}^n$ .

Замечания

Если одно из приведённых выше определений принято в качестве основного, то другие выводятся в качестве теорем.
Вектор $\mathbf{\mu}$ является вектором средних значений $\mathbf{X}$ , а $\Sigma$ — его ковариационная матрица.
В случае $n = 1$ , многомерное нормальное распределение сводится к обычному нормальному распределению.
Если случайный вектор $\mathbf{X}$ имеет многомерное нормальное распределение, то пишут $\mathbf{X} \sim \mathrm{N}(\mathbf{\mu},\Sigma)$ .

Свойства многомерного нормального распределения

Если вектор $\mathbf{X} = (X_1,\ldots, X_n)^{\top}$ имеет многомерное нормальное распределение, то его компоненты $X_i, i=1,\ldots, n,$ имеют одномерное нормальное распределение. Обратное, вообще говоря, неверно!
Если случайные величины $X_1,\ldots,X_n$ имеют одномерное нормальное распределение и совместно независимы, то случайный вектор $\mathbf{X} = (X_1,\ldots, X_n)^{\top}$ имеет многомерное нормальное распределение. Матрица ковариаций $\Sigma$ такого вектора диагональна.
Если $\mathbf{X} = (X_1,\ldots, X_n)^{\top}$ имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если только компоненты $X_i,\; i = 1 , \ldots, n$ имеют одномерное нормальное распределение и попарно не коррелируют, то отсюда не следует, что они независимы.

Контрпример. Пусть $X \sim \mathrm{N}(0,1)$ , а $\alpha = \pm 1$ с равными вероятностями. Тогда если $Y = \alpha X \sim \mathrm{N}(0,1)$ , то корреляция $X$ и $Y$ равна нулю. Однако, эти случайные величины зависимы.

Многомерное нормальное распределение устойчиво относительно линейных преобразований. Если $\mathbf{X} \sim \mathrm{N}(\mathbf{\mu},\Sigma)$ , а $\mathbf{A}$ — произвольная матрица размерности $m \times n$ , то

$\mathbf{A}\mathbf{X} \sim \mathrm{N}\left(\mathbf{A}\mathbf{\mu},\mathbf{A}\Sigma \mathbf{A}^{\top}\right)$ .

Источник — «http://www.recognition.su/wiki/index.php?title=%D0%9C%D0%BD%D0%BE%D0%B3%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D0%BD%D0%BE%D1%80%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5»

Многомерное нормальное распределение

Материал из MachineLearning.

Версия 14:29, 19 ноября 2009

Определения

Замечания

Свойства многомерного нормального распределения

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты