Выборка
Материал из MachineLearning.
|
Выборка (sample, set) — конечный набор прецедентов (объектов, случаев, событий, испытуемых, образцов, и т.п.), некоторым способом выбранных из множества всех возможных прецедентов, называемого генеральной совокупностью.
Если исследователь не имеет возможности управлять выбором прецедентов, то обычно предполагается, что выбор прецедентов случаен. Если же выбором прецедентов можно управлять, то возникает задача выбора минимального числа прецедентов, содержащих максимум полезной информации, см. активное обучение, планирование экспериментов, выборочное обследование.
По каждому прецеденту собираются (измеряются) некоторые данные (data), образующие описание прецедента. Совокупность описаний всех прецедентов выборки является входной информацией для статистического анализа данных, интеллектуального анализа данных и машинного обучения.
Термины выборка (sample, set) и данные (data) взаимозаменяемы; иногда они употребляются вместе как один термин выборка данных (data set).
Основные цели анализа данных:
- выявление общих зависимостей, закономерностей, взаимосвязей по имеющийся частной выборке данных;
- формирование статистически обоснованных предсказаний относительно новых данных, которые ещё не наблюдались.
Вероятностная модель порождения данных
Вероятностная модель порождения данных предполагает, что выборка из генеральной совокупности формируется случайным образом.
С формальной точки зрения, это означает, что с генеральной совокупностью связывается вероятностное пространство
. Объем выборки
является неслучайным и может считаться заданным.
Здесь представляет собой множество всех выборок и выступает в роли множества элементарных исходов,
- подходящим образом заданная сигма-алгебра событий,
- вероятностная мера, которая, как правило, неизвестна.
Выборка — это элемент множества
, то есть конечная последовательность прецедентов, выбранных из генеральной совокупности
, сформированная согласно вероятностной мере
.
Пусть — функция распределения на
.
Выборка зазывается простой или независимой одинаково распределённой (i.i.d. — independent, identically distributed),
если
.
На гипотезу простой выборки существенно опираются многие методы статистического анализа данных и машинного обучения, например, большинство статистических тестов, а также оценки обобщающей способности в теории вычислительного обучения.
Также существует множество методов, не предполагающих независимость выборки. Одним из таких направлений является теория случайных процессов, в частности, методы, где выборка полагается реализацией случайного процесса с дискретным временем.
Существуют и универсальные статистические методы, например, метод максимума правдоподобия, позволяющий оценивать значения параметров модели зависимости по обучающей выборке.
Обучающая и тестовая выборка
Если модель зависимости построена по обучающей выборке , то оценка качества этой модели, сделанная по той же выборке
оказывается, как правило, оптимистически смещённой.
Это нежелательное явление называют переобучением.
На практике оно встречается очень часто.
Хорошую эмпирическую оценку качества построенной модели даёт её проверка на независимой тестовой выборке, объекты которой не использовались для обучения.
Оценку качества, сделанную по тестовой выборке, можно применить для выбора наилучшей модели. Но тогда она снова окажется оптимистически смещённой. Для получения немсещённой оценки выбранной модели приходится выделять третью выборку.
Обучающая выборка (training sample) — выборка, по которой производится построение (оптимизация параметров) модели зависимости.
Тестовая (или контрольная) выборка (test sample) — выборка, по которой оценивается качество построенной модели. Если обучающая и тестовая выборки независимы, то оценка, сделанная по тестовой выборке, является несмещённой.
Проверочная выборка (validation sample) — выборка, по которой осуществляется выбор наилучшей модели из множества моделей, построенных по обучающей выборке.
