Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} [[Логистическая регрессия]] - частный случай [[Обобщённая линейная модель|обобщенной линейной регрессии]]. Предполагается, что [[регрессионный анализ|зависимая переменная]] принимает два значения и имеет [[биномиальное распределение]]. На практике логистическая регрессия используется для решения задач [[классификация|классификации]] с линейно-разделяемыми классами. == Постановка задачи восстановления логистической регрессии == Задана [[выборка]] - множество&nbsp;<tex>m</tex> пар <tex>(\mathbf{x}_i,y_i)</tex>, в которых описание&nbsp;<tex>i</tex>-го элемента&nbsp;<tex>\mathbf{x}_i\in\mathbb{R}^n</tex>, и значения зависимой переменной&nbsp;<tex>y\in\{0,1\}.</tex> Принята модель логистической регрессии, согласно которой [[регрессионный анализ|свободные переменные]]&nbsp;<tex>\mathbf{x}</tex> и зависимая переменная&nbsp;<tex>y</tex> связаны зависимостью <center><tex>y=\text{logit}^{-1}(z)+\varepsilon=\frac{1}{1+\exp(-z)}+\varepsilon,</tex></center> где&nbsp;<tex>z=b_0+\sum_{j=1}^nb_jx_j</tex>. Примем обозначения <tex>p_i=f(\mathbf{b},\mathbf{x}_i)</tex>, вектор&nbsp;<tex>\mathbf{b}=[b_0,\ldots,b_n]^T.</tex> Для удобства дальнейшего изложения обозначим выборку свободных переменных как <center><tex>X = \left[ \begin{array}{cc} 1 & \mathbf{x}_1^T \\ \vdots & \vdots \\ 1&\mathbf{x}_m^T \\ \end{array} \right]. </tex></center> Требуется найти такое значение вектора параметров&nbsp;<tex>\mathbf{b}</tex>, которое бы доставляло минимум норме вектора невязок <center><tex>S = \|\mathbf{y}-\mathbf{p}\|^2 = \sum_{i=1}^m(y_i-p_i)^2.</tex></center> == Алгоритм отыскания оптимальных параметров == Оптимальные параметры отыскиваются последовательно с помощью итерационного [[метод наименьших квадратов|метода наименьших квадратов]] с использованием взвешивания элементов выборки. Приведенный ниже алгоритм основан на [[алгоритм Ньютона-Рафсона|алгоритме Ньютона-Рафсона]]. В начале работы алгоритма задаются параметры начального приближения: скаляр <tex>b_0=\log\frac{\tilde{y}}{1-\tilde{y}}</tex>, где&nbsp;<tex>\tilde{y}=\frac{1}{m}\sum_{i=1}^{m}y_i</tex>&nbsp;- среднее значение выборки зависимой переменной и значения&nbsp;<tex>b_j=0</tex> для&nbsp;<tex>j=1,\ldots,n</tex>. Далее итеративно повторяется следующая процедура. * С использованием вектора параметров&nbsp;<tex>\mathbf{b}</tex> вычисляется переменная <center><tex>\mathbf{z}=X\mathbf{b}.</tex></center> * Вычисляется восстановленное значение выборки зависимой переменной <center><tex>p=\frac{1}{1+\exp(\mathbf{-z})}.</tex></center> * Вычисляется вектор значений зависимой переменной для текущего шага линейной регрессии <center><tex>\mathbf{u} = \mathbf{z} + \frac{\mathbf{y}-\mathbf{p}}{\mathbf{w}},</tex></center> где <tex>\mathbf{w} = \mathbf{p}(1-\mathbf{p})</tex>&nbsp;- вектор весов значений зависимой переменной. * Решается задача наименьших квадратов с взвешиванием элементов выборки. При этом больший вес приобретают те элементы, которые имеют большую невязку <center><tex>\mathbf{b} = (X^TWX)^{-1}X^TW\mathbf{u},</tex></center> где диагональная матрица весов&nbsp;<tex>W =\text{diag}(\mathbf{w})</tex>. Процедура останавливается после того, как норма разности векторов параметров на каждой итерации не будет превышать заданную константу: <tex>\|\mathbf{b}^{next}-\mathbf{b}^{previuos}\|^2 \leq \Delta_{b}</tex>. == Пример на модельных данных == Перед началом работы алгоритма задаются начальные значения параметров <source lang="matlab"> b0 = log(mean(y)/(1-mean(y))); % 1st element, function of the mean value of y's b = [b0 zeros(size(X,2)-1)]'; % column-vector of parameters </source> Итерационное вычисление параметров логистической регрессии <source lang="matlab"> while 1==1 z = X*b; % the logit^-1 variable is function of parameters p = 1./(1+exp(-z)); % recover the regression w = p.*(1-p); % calculate the weights of the samples u = z + (y-p)./w; % calculate the dependent variable for this step of least squares b_old = b; % store old parameters b = inv( X'*diag(w)*X ) * X' * diag(w) * u; % calculate new parameters with least squares % termanate the iterations if changes of the parameters are small if sumsqr(b - b_old) <= TolFun, break; end end </source> [[Изображение:demo_logistic_regression.png|500px]] == Исходный код == <source lang="matlab"> %% Logistic regression example % The Newton-Raphson algorithm is used to obtain the optimal parameters % of the regression model %% Create a demonstration data set % independent variable, 20 samples x = [[-8:1]'; [2:11]']; % dependent variable of zeros and ones y = [zeros(9,1); 1; 0; ones(9,1)]; % construct the matrix of independent samples X = [ones(size(x,1),1) x]; %Plot the initial data h = figure; hold on plot(X(:,2), y,'k*'); hold on txtlegend = {'initial data'}; colors = {'r-','g-', 'b-', 'c-', 'm-', 'y-'}; ncolor = 0; %% Set the constant for iteration convergence % the algorithm stops when the difference of the parameter is small TolFun = 10^-3; %% Define the initial value of the parameters % 1st element, function of the mean value of y's b0 = log(mean(y)/(1-mean(y))); % column-vector of parameters b = [b0 zeros(size(X,2)-1)]'; %% The Newton-Raphson procedure while 1==1 % the logit^-1 variable is function of parameters z = X*b; % recover the regression p = 1./(1+exp(-z)); % calculate the weights of the samples w = p.*(1-p); % calculate the dependent variable for this step of least squares u = z + (y-p)./w; % plot the results of this step plot(x, p, colors{mod(ncolor,length(colors))+1}); ncolor = ncolor + 1; % change color txtlegend{end+1} = ['iteration ', num2str(ncolor)]; % store old parameters b_old = b; % calculate new parameters with least squares b = inv( X'*diag(w)*X ) * X' * diag(w) * u; % termanate the iterations if changes of the parameters are small if sumsqr(b - b_old) <= TolFun, break; end end %% Show the result % claculate recovered dependent variable p = 1./(1+exp(-X*b)); % plot the result txtlegend{end+1} = 'recovered data'; plot(x, p,'rs'); legend(txtlegend); axis tight xlabel('x'); ylabel('p = (1+e^z)^{-1}, x = b_0+b_1x'); %% Notes % In Matlab there are glmfit and glmval functuions. Use them for % professional purposes. return </source> == Смотри также == * [[Логистическая регрессия]] * [[Линейная регрессия (пример)]] * [[Регрессионный анализ]] * [[Метод наименьших квадратов]] * [[Обобщенная линейная модель]] * [[Алгоритм Ньютона]] * [[Алгоритм Ньютона-Рафсона]] * [[Media:wiki_logistic_regression_example.pdf|Эта статья в формате PDF]] * [http://strijov.com/sources/demo_logistic_regression.m Исходный код] == Литература == * {{П:Hastie 2001 The Elements of Statistical Learning}} [[Категория:Регрессионный анализ]] [[Категория:Популярные и обзорные статьи]] [[Категория:Библиотеки алгоритмов]]

• Шаблон:Mbox
• Шаблон:Nobr
• Шаблон:TOCright
• Шаблон:Tip
• Шаблон:ВсеАвторы
• Шаблон:Книга
• Шаблон:Монография
• Шаблон:Переводы
• Шаблон:Подробнее
• Шаблон:Хозяйке на заметку
• Публикация:Hastie 2001 The Elements of Statistical Learning

Возврат к странице Логистическая регрессия (пример).