Статистический отчет при создании моделей

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{TOCright}} В данной работе приведен обзор статистических методов оценивания качества регрессионных мод...)
(→Постановка задачи)
Строка 13: Строка 13:
* <tex> y = \(y_1<br>\ \vdots<br>y_l\) </tex> &nbsp;&#151; целевой вектор.
* <tex> y = \(y_1<br>\ \vdots<br>y_l\) </tex> &nbsp;&#151; целевой вектор.
-
Неизвестная зависимость <tex>y(x)</tex> приближается [[Многомерная линейная регрессия|линейной регрессионной моделью:]]
+
Будем считать,
 +
что зависимость
 +
 +
<tex>y(x) = f(x) + \epsilon(x)</tex>,
 +
 +
где <tex>f(x)</tex> &nbsp;&#151; некоторая неслучайная функция,
 +
<tex>\epsilon(x)</tex> &nbsp;&#151; случайная величина,
 +
с нулевым [[Математическое ожидание|математически ожиданием]].
 +
В моделях [[Многомерная линейная регрессия|многомерной линейной регрессии]] предполагается, что неслучайная составляющая имеет вид:
-
<tex> \hat y(x) = <w, \ x> </tex>.
+
<tex> f(x) = <w, \ x> </tex>.
-
 
+
-
Требуется вычислить оценить численно качество модели при заданном векторе параметров <tex> w</tex>.
+
-
 
+
-
В качестве оценки для <tex>w</tex> в статье будем использовать решение
+
-
[[Метод наименьших квадратов| методом наименьших квадратов]]:
+
-
 
+
-
<tex> \hat w = (X^T X)^{-1} X^T y. </tex>
+
 +
Требуется численно оценить качество модели при заданном векторе параметров <tex> w</tex>.
== Описание решения ==
== Описание решения ==

Версия 16:25, 27 сентября 2011

Содержание

В данной работе приведен обзор статистических методов оценивания качества регрессионных моделей, используемых популярными программами машинного обучения и статистической обработки данных. Приведены примеры вычисления и анализа полученных оценок.

Постановка задачи

Имеется пространство объектов-строк \mathbb{X} = \mathbb{R}^n и пространство ответов \mathbb{Y} = \mathbb{R}. Задана выборка (x_i,\ y_i)_{i=1}^l \in \mathbb{X} \times \mathbb{Y}. Обозначеним:

  • X = \(x_1 <br> \ \vdots\ <br> x_l\)  — матрица информации;
  • w = \(w_1<br> \ \vdots <br> w_n\)  — вектор параметров;
  • y = \(y_1<br>\ \vdots<br>y_l\)  — целевой вектор.

Будем считать, что зависимость

y(x) = f(x) + \epsilon(x),

где f(x)  — некоторая неслучайная функция, \epsilon(x)  — случайная величина, с нулевым математически ожиданием. В моделях многомерной линейной регрессии предполагается, что неслучайная составляющая имеет вид:

f(x) = <w, \ x> .

Требуется численно оценить качество модели при заданном векторе параметров w.

Описание решения

Вычислительный эксперимент

Исходный код и полный текст работы

Смотри также

Литература

Данная статья является непроверенным учебным заданием.
Студент: Юрий Янович
Преподаватель: В.В. Стрижов
Срок: 28 мая 2009

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://www.recognition.su/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BE%D1%82%D1%87%D0%B5%D1%82_%D0%BF%D1%80%D0%B8_%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B8_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9»