Глубокое машинное обучение (онлайн-учебник)
Материал из MachineLearning.
Китов В.В. Глубокое машинное обучение, 2024, онлайн-учебник.
Аннотация
Онлайн-учебник по машинному обучению и глубокому обучению (нейросетям) на основе курсов "Методы машинного обучения" и "Глубокое машинное обучение", читаемых на факультете ВМК МГУ им. Ломоносова.
Первая часть учебника описывает весь процесс построения моделей машинного обучения (machine learning):
- постановка и формализация задачи
- подготовка данных
- выбор модели и подбор гиперпараметров
- меры качества оценки моделей
- оценка качества и интерпретация результатов
В ней рассматриваются методы классического машинного обучения:
- метрические методы
- линейные модели
- деревья решений.
Описывается, как алгоритмы машинного обучения решают задачу регрессии и классификации, а также основные функции потерь и меры качества для указанных задач.
Особое внимание уделяется построению прогнозов, используя не одну модель, а композицию разных моделей (ансамбль). Рассматриваются популярные методы построения ансамблей моделей, такие как
- бэггинг
- метод случайных подпространств
- случайный лес
- особо случайные деревья
- бустинг.
В конце учебника рассматриваются подходы к интерпретации настроенных моделей машинного обучения и полученных с их помощью прогнозов.
Вторая часть учебника посвящена глубокому обучению (deep learning), то есть использованию нейросетей в задачах эффективного представления знаний (representation learning) и прогнозирования.
Рассматривается обработка табличных данных, изображений, последовательностей и временных рядов, текстов и графов с помощью нейросетей.
Описываются основные нейросетевые архитектуры:
- многослойный персептрон
- свёрточные нейросети для обработки последовательностей и изображений
- автокодировщики
- сиамские сети
- рекуррентные сети
- трансформеры
- графовые нейросети.
Изучаются методы эффективной настройки глубоких нейросетевых моделей, включающие начальную инициализацию моделей и методы оптимизации нейросетей.
Особое внимание уделено способам регуляризации нейросетевых моделей, чтобы контролировать степень переобучения.
Помимо задач регрессии и классификации, рассматриваются и другие применения глубоких нейросетей:
- семантическая сегментация, детекция объектов и instance-сегментация
- построение эмбеддингов слов и параграфов текста
- генерация текстов и последовательностей других дискретных объектов
- классификация вершин и рёбер графа, учитывая их геометрическое расположение
- восстанавление недостающих рёбер на графе.
