Сингулярное разложение
Материал из MachineLearning.
Сингулярное разложение (Singular Value Decomposition, SVD) — декомпозиция вещественной матрицы с целью ее приведения к каноническому виду. SVD является удобным методом при работе с матрицами. Оно показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. SVD используется при решении самых разных задач — от приближения методом наименьших квадратов и решения систем уравнений до сжатия и распознавания изображений. При этом используются разные свойства сингулярного разложения, например, способность показывать ранг матрицы, приближать матрицы данного ранга. SVD позволяет вычислять обратные и псевдообратные матрицы большого размера, что делает его полезным инструментом при решении задач регрессионного анализа.
Для любой вещественной -матрицы
существуют две
вещественные ортогональные
-матрицы
и
такие,
что
— диагональная матрица
,
Матрицы и
выбираются так, чтобы диагональные элементы матрицы
имели вид
где — ранг матрицы
. В частности, если
невырождена,
то
Индекс элемента
есть фактическая размерность собственного пространства матрицы
.
Столбцы матриц и
называются соответственно левыми и правыми сингулярными векторами, а значения диагонали матрицы
называются сингулярными числами.
Эквивалентная запись сингулярного разложения — .
Например, матрица
имеет сингулярное разложение
Легко увидеть, что матрицы и
ортогональны,
и сумма квадратов значений их столбцов равна единице.
