Полигон алгоритмов/Подробный отчёт задача-алгоритм

Материал из MachineLearning.

Версия 17:16, 5 ноября 2009

Раздел находится в разработке

Инструкция по работе с подробным отчётом задача-алгоритм в системе «Полигон».

Данный отчёт позволяет оценить насколько хорошо данный алгоритм подходит для конкретной задачи.
Помимо скалярных статистик, здесь можно просмотреть графические статистики. Все статистики подсчитаны отдельно на обучении, контроле и и на полной выборке, если это возможно. Это даёт максимальные возможности для анализа работы алгоритма классификации на конкретной задаче.

Верхний блок.

Сверху показана информация об отчёте:

• об отчёте: идентификационный номер, название, пользователь, дата создания.

• о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. Синоним является ссылкой на страницу, содержащую полную информацию о задаче.
• об алгоритме: идентификационный номер, синоним (уникальное имя алгоритма в репозитории системы Полигон), название, автор, параметры алгоритма. Синоним является ссылкой на страницу, содержащую полную информацию об алгоритме, а ссылка Параметры показывает блок основных параметров алгоритма.

• Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.

Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.
Кроме этого можно включить режим отчёта, в котором графики будут рисоваться с доверительными интервалами.

Быстрое управление видом отчётом:

• Ссылка Сравнить классы позволяет быстро перейти к сравнению первых трёх (двух) классов.
• Ссылка Сравнить обучении и контроль позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).
  

При нажатии на ссылку отчёт настраивается специальным образом для сравнения классов или для сравнения обучения и контроля на целевом классе. Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.

Подробный отчёт задача-алгоритм.

Подробный отчёт состоит из нескольких блоков:

Скалярные блоки:

• Таблица скалярных статистик по всей выборке

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, Переобученность не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.

• Таблица скалярных статистик по классам

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Отличие от первой таблицы состоит в том, что скалярные статистики вычислены отдельно по классам.

Графические блоки:

• Разложение ошибки на смещение и вариацию

• Карта ошибок

• Рок-кривая

• Распределение отступов

• Кривая обучения

• Кривая переобученности

• Распределение стандартной ошибки

• Распределение переобученности

Управление графическими блокам:

Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.

• Поле Выборка:

  Поле выборка даёт возможность посмотреть на данную статистику отдельно на контроле, на обучении или на обучении и контроле вместе на совмещённом графике для этого нужно выбрать соответствующий пункт в сплывающем списке.

• Поле Класс:

  Поле класс даёт возможность посмотреть на данную статистику для определённого класса или на всех классах одновременно.

Внимание: классы нумеруются с нуля.

• Кнопка Добавить ">>":

  Кнопка позволяет добавить график в блок данной статистики для проведения сравнительного анализа. Можно добавлять несколько графиков.

  График добавляется с теми же параметрами, что и первый, поэтому для сравнения следует изменить соответствующие настройки.

Например, нам надо сравнить нулевой и первый класс на обучающей выборке.
Мы нажимаем на кнопку добавить и настраиваем первый график: Класс 1, Обучение, и второй: Класс 0, Обучение.

Добавленные графики можно удалять с помощью кнопки удалить "X".