Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)

Материал из MachineLearning.

В работе до 1 сентября 2013.

Новое название: «Структурное обучение»

Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.

Содержание 1 Введение 2 Линейные и существенно-нелинейные модели 3 Линейные методы 4 Обобщенно-линейные модели 5 Методы сэмплирования 6 Критерии качества моделей 7 Требования к моделям 8 Методы выбора признаков 9 Сравнение моделей 10 Мультимоделирование и смеси экспертов 11 См. также 12 Практика 13 Экзамен 14 История 15 Разное 16 Порождение моделей 17 Выпадает из курса, перенести в практику

Введение

• Регрессионный анализ
• Регрессионная модель
• Подстановки в линейных моделях
• Авторегрессионные модели
• Примеры постановки задач регрессионного анализа (с. 47-53)
• Моделирование в финансовой математике
• Экспертно-статистические методы
• Обозначения

Линейные и существенно-нелинейные модели

• Линейная регрессия
• Метод наименьших квадратов
• Нелинейная регрессия
• Часто используемые регрессионные модели
• Матрица Якоби и Гессе
• Метод Ньютона
• Алгоритм Левенберга-Марквардта
• Ранговая регрессия

Линейные методы

• Метод главных компонент
• Максимальное правдоподобие МГК (К.С.)
• Байесовский МГК (+)
• МГК для нелинейных моделей (+)
• Сингулярное разложение
• Простой итерационный алгоритм сингулярного разложения

Обобщенно-линейные модели

• Гипотеза порождения данных
• Первый уровень Байесовского вывода (там же)
• Логистическая регрессия
• Метод Ньютона-Рафсона
• Методы оценки параметров моделей

Методы сэмплирования

• Интегрирование Монте-Карло
• Методы преобразования равномерного распределения
• Сэмплирование с отклонением
• Сэмплирование по значимости
• Гиббсовское сэмплирование
• Сэмплирование Метрополиса-Хастингса
• Использование результатов (М.Ю.)

Критерии качества моделей

(при отсутствии гипотезы порождения данных)

• Искусственные критерии качества моделей
• Скоринг и логистическая регрессия

Требования к моделям

• Анализ регрессионных остатков, пример
• Фактор инфляции дисперсии
• Устойчивость моделей
• Метод Белсли
• Анализ мультиколлинеарности
• Анализ регрессионных остатков, пример и отчет

Методы выбора признаков

• Переборные алгоритмы
• МГУА
• Регуляризация
• Шаговая регрессия
• Алгоритмы с регуляризацией
• Алгоритмы направленного добавления FOS, Stagewise, LARS
• Оптимальное прореживание

Сравнение моделей

• Второй уровень Байесовского вывода, множитель Оккама
• Принцип минимальной длины описания
• Аппроксимация Лапласа
• Оценка гиперпараметров
• Эмпирическая функция правдоподобия и аппроксимация Лапласа
• Постановка задач выбора моделей

Мультимоделирование и смеси экспертов

читать К. Бишоп, с. 653-676

• Байесовское усреднение моделей
• Смеси распределений
• Смеси линейных моделей (К.П.)
• Смеси обобщенно-линейных моделей (+)
• Смеси экспертов (+)
• Иерархические модели

См. также

Лекции MVR Лекции DBMA

Практика

Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию. Практика и доклад выполняются в формате «Численные методы».

Практику необходимо сдать до начала экзамена.

• Подробнее: Группа 674, осень 2011

Экзамен

Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов. Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 100] дает 1 балл, а отрезок [68, 100] линейно отображается в отрезок [0,6]. Итого максимальная оценка 3+1+6 = 10.

Практика

• 28 сентября и 5 октября
• 26 октября и 2 ноября
• 23 и 30 ноября

Теория

• 14 декабря 2011, группа 674, ауд. 355; список вопросов будет опубликован по окончании экзамена при условии полной явки.

Список вопросов, PDF

История

Предшествующие программы и практические задания

• Группа 674, осень 2011
• Группа 574, осень 2010 (то же)
• Группа 474, осень 2009
• Группа 374, осень 2008
• Группа 274, осень 2007
• Группа 174, осень 2006

Разное

• Сложность моделей
• Гауссовские процессы
• Оптимизация правдоподобия
• Метод Белсли и анализ ковариационных матриц для нелинейных моделей
• Оценка гиперпараметров для произвольной гипотезы порождения данных
• Графические модели
• Байесовские сети
• Расстояние Кулльбака-Лейблера
• Расстояние между моделями
• Инварианты в пространстве параметров моделей

Порождение моделей

• Методы порождения моделей
• Структурная сложность
• Структурное расстояние
• Порождение моделей МГУА
• Порождение нейронных сетей и RBF
• Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
• Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом

Выпадает из курса, перенести в практику

• Многокритериальный выбор моделей
• Постановка задач многокритериальной оптимизации
• Сведение многокритериальной оптимизации к однокритериальной (Weber)
• Парето-оптимальный фронт
• Алгоритмы многокритериальной оптимизации