Алгоритм Trust-Region

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
-
== Постановка задачи ==
+
== Введение ==
-
=== Безусловная оптимизация ===
+
== Безусловная оптимизация ==
-
Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:<br>к
+
Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:<br>
<tex>F(x) = \frac{1}{2}\sum_i{r_i^m(x)^2}</tex><br>
<tex>F(x) = \frac{1}{2}\sum_i{r_i^m(x)^2}</tex><br>
где <tex>r_i(x)</tex> - гладкая нелинейная функция из <tex>R^n</tex> в <tex>R</tex>. Будем считать, что m ≥ n.<br>
где <tex>r_i(x)</tex> - гладкая нелинейная функция из <tex>R^n</tex> в <tex>R</tex>. Будем считать, что m ≥ n.<br>
Строка 10: Строка 10:
<tex>\nabla f(x) = \sum_{j = 1}^m{r_j(x)\nabla r_j(x) = J(x)^Tr(x)}</tex><br>
<tex>\nabla f(x) = \sum_{j = 1}^m{r_j(x)\nabla r_j(x) = J(x)^Tr(x)}</tex><br>
<tex>\nabla^2 f(x) = \sum_{j = 1}^m{\nabla r_j(x)\nabla r_j(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)= J(x)^TJ(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)}</tex><br>
<tex>\nabla^2 f(x) = \sum_{j = 1}^m{\nabla r_j(x)\nabla r_j(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)= J(x)^TJ(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)}</tex><br>
-
== Алгоритмы для нелинейной задачи метода наименьших квадратов ==
+
=== Алгоритмы для нелинейной задачи метода наименьших квадратов ===
-
=== Метод Гаусса-Ньютона ===
+
==== Метод Гаусса-Ньютона ====
-
== Метод решения задачи ==
+
== Условная оптимизация ==
 +
== Примеры ==
== Рекомендации программисту ==
== Рекомендации программисту ==
== Выводы ==
== Выводы ==
== Литература ==
== Литература ==
Philip E. Gill Practical Otpimization 1981.<br>
Philip E. Gill Practical Otpimization 1981.<br>

Версия 20:59, 18 ноября 2008

Содержание

Введение

Безусловная оптимизация

Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:
F(x) = \frac{1}{2}\sum_i{r_i^m(x)^2}
где r_i(x) - гладкая нелинейная функция из R^n в R. Будем считать, что m ≥ n.
Если обозначить r_i(x) = (r_1(x),\dots,r_m(x))^T
то F(x) = \frac{1}{2}||r(x)||_2^2
Обозначим якобиан функции r: J(x) = \frac{\delta r_j}{\delta x_i}
Тогда производные функции f(x) можно вычислить с помощью формул:
\nabla f(x) = \sum_{j = 1}^m{r_j(x)\nabla r_j(x) = J(x)^Tr(x)}
\nabla^2 f(x) = \sum_{j = 1}^m{\nabla r_j(x)\nabla r_j(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)= J(x)^TJ(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)}

Алгоритмы для нелинейной задачи метода наименьших квадратов

Метод Гаусса-Ньютона

Условная оптимизация

Примеры

Рекомендации программисту

Выводы

Литература

Philip E. Gill Practical Otpimization 1981.

Источник — «http://www.recognition.su/wiki/index.php?title=%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_Trust-Region»
Личные инструменты