Сингулярное разложение
Материал из MachineLearning.
м (Правки Yury Chekhovich (обсуждение) откачены к версии Strijov) |
|||
Строка 1: | Строка 1: | ||
- | + | '''Сингулярное разложение''' (Singular Value Decomposition, SVD) — декомпозиция вещественной матрицы с целью ее приведения к каноническому виду. SVD является удобным методом при работе с матрицами. Оно показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. SVD используется при решении самых разных задач — от приближения методом наименьших квадратов и решения систем уравнений до сжатия и распознавания изображений. При этом используются разные свойства сингулярного разложения, например, способность показывать ранг матрицы, приближать матрицы данного ранга. SVD позволяет вычислять обратные и псевдообратные матрицы большого размера, что делает его полезным инструментом при решении задач регрессионного анализа. | |
- | + | ||
- | + | Для любой вещественной <tex>(n\times n)</tex>-матрицы <tex>A</tex> существуют две | |
- | + | вещественные ортогональные <tex>(n\times n)</tex>-матрицы <tex>U</tex> и <tex>V</tex> такие, | |
- | + | что <tex>U^T A V</tex> — диагональная матрица <tex>\Lambda</tex>, | |
- | + | <center><tex>U^TAV=\Lambda.</tex></center> | |
- | + | Матрицы <tex>U</tex> и <tex>V</tex> выбираются так, чтобы диагональные элементы матрицы <tex>\Lambda</tex> имели вид | |
- | + | <center><tex>\lambda_1 \geq \lambda_2 \geq ... \geq \lambda_r > \lambda_{r+1}=...=\lambda_n=0,</tex></center> | |
- | </ | + | где <tex>r</tex> — ранг матрицы <tex>A</tex>. В частности, если <tex>A</tex> невырождена, |
+ | то | ||
+ | <center><tex>\lambda_1 \geq \lambda_2 \geq ... \geq \lambda_n > 0.</tex></center> | ||
+ | |||
+ | Индекс <tex>r</tex> элемента <tex>\lambda_r</tex> есть фактическая размерность собственного пространства матрицы <tex>A</tex>. | ||
+ | |||
+ | Столбцы матриц <tex>U</tex> и <tex>V</tex> называются соответственно левыми и правыми сингулярными векторами, а значения диагонали матрицы <tex>\Lambda</tex> называются сингулярными числами. | ||
+ | |||
+ | Эквивалентная запись сингулярного разложения — <tex>A=U\Lambda V^T</tex>. | ||
+ | |||
+ | Например, матрица | ||
+ | <center><tex>A = \left(\begin{matrix}0.96 & 1.72\\2.28 & 0.96\\ \end{matrix}\right)</tex></center> | ||
+ | имеет сингулярное разложение | ||
+ | <center><tex>A = U\Lambda V^T=\left(\begin{matrix}0.6 & 0.8\\0.8 & -0.6\\\end{matrix}\right)\left(\begin{matrix}3 & 0\\0 & 1\\\end{matrix}\right)\left(\begin{matrix}0.8 & -0.6\\0.6 & 0.8\\\end{matrix}\right)^T</tex></center> | ||
+ | Легко увидеть, что матрицы <tex>U</tex> и <tex>V</tex> ортогональны, | ||
+ | <center><tex>U^TU=UU^T=I,</tex> также <tex>V^TV=VV^T = I,</tex></center> | ||
+ | и сумма квадратов значений их столбцов равна единице. |
Версия 15:29, 8 февраля 2008
Сингулярное разложение (Singular Value Decomposition, SVD) декомпозиция вещественной матрицы с целью ее приведения к каноническому виду. SVD является удобным методом при работе с матрицами. Оно показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. SVD используется при решении самых разных задач от приближения методом наименьших квадратов и решения систем уравнений до сжатия и распознавания изображений. При этом используются разные свойства сингулярного разложения, например, способность показывать ранг матрицы, приближать матрицы данного ранга. SVD позволяет вычислять обратные и псевдообратные матрицы большого размера, что делает его полезным инструментом при решении задач регрессионного анализа.
Для любой вещественной -матрицы существуют две вещественные ортогональные -матрицы и такие, что диагональная матрица ,
Матрицы и выбираются так, чтобы диагональные элементы матрицы имели вид
где ранг матрицы . В частности, если невырождена, то
Индекс элемента есть фактическая размерность собственного пространства матрицы .
Столбцы матриц и называются соответственно левыми и правыми сингулярными векторами, а значения диагонали матрицы называются сингулярными числами.
Эквивалентная запись сингулярного разложения .
Например, матрица
имеет сингулярное разложение
Легко увидеть, что матрицы и ортогональны,
и сумма квадратов значений их столбцов равна единице.