Алгоритм обучения
Материал из MachineLearning.
Алгоритм обучения (learning algorithm), синоним Метод обучения — в задачах обучения по прецедентам алгоритм , который принимает на входе обучающую выборку данных
, строит и выдаёт на выходе функцию
, реализующую отображение из множества объектов
во множество ответов
.
Построенная функция называется классификатором (в задачах классификации) или функцией регрессии (в задачах восстановления регрессии). В общем случае её называют по-разному: алгоритмом (преимущественно в русскоязычных работах), концептом (concept) или гипотезой (в некоторых зарубежных работах), реже — аппроксимирующей функцией или моделью.
На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:
- алгоритм обучения или метод обучения — отображение
;
- алгоритм, классификатор, функция регрессии — отображение
;
- модель — семейство отображений
, из которого метод обучения
выбирает функцию
.
Для задач обучения с учителем каноническим примером метода обучения является
метод минимизации эмпирического риска.
Он заключается в том, чтобы в заданной модели
найти функцию, минимизирующую величину средней ошибки на обучающей выборке,
называемую также эмпирическим риском:
В типичных случаях метод обучения реализуется путём численной минимизации функционала .
Ссылки
- Обучение по прецедентам
- Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006