Глубокое машинное обучение (онлайн-учебник)

Материал из MachineLearning.

Текущая версия

Китов В.В. Глубокое машинное обучение, 2025, онлайн-учебник.

Аннотация

Онлайн-учебник по машинному обучению и глубокому обучению (нейросетям) на основе курсов "Методы машинного обучения" и "Глубокое машинное обучение", читаемых на факультете ВМК МГУ им. Ломоносова и в магистратуре Т-Банка/МФТИ.

Материалы учебника свободно доступны в виде веб-страниц, организованных в виде интуитивной вложенной иерархической структуры, а связанные друг с другом понятия связаны гиперссылками для удобства навигации и изучения смежных тем. В конце разделов добавлены проверочные вопросы, а также главы со ссылками на дополнительную литературу для более полного погружения в каждую тему.

Первая часть учебника описывает весь процесс построения моделей машинного обучения (machine learning) для решения задач регрессии и классификации:

• постановка и формализация задачи,
• подготовка данных,
• выбор модели и подбор гиперпараметров,
• оценка качества моделей,
• интерпретация результатов.

В ней рассматриваются классические методы машинного обучения:

• метрические методы,
• линейные модели и их расширение с помощью ядер,
• деревья решений.

Особое внимание уделяется построению прогнозов, используя не одну модель, а композицию разных моделей (ансамбль). Рассматриваются популярные методы построения ансамблей моделей, такие как

• бэггинг
• метод случайных подпространств
• случайный лес
• особо случайные деревья
• бустинг.

В двух отдельных разделах онлайн-учебника рассматриваются подходы к интерпретации работы моделей машинного обучения.

Вторая часть учебника посвящена глубокому обучению (deep learning), то есть использованию нейросетей в задачах эффективного представления знаний (representation learning) и прогнозирования.

Рассматривается нейросетевая обработка табличных данных, изображений, последовательностей, временных рядов, текстов и графов.

Описываются основные нейросетевые архитектуры:

• многослойный персептрон,
• автокодировщики,
• RBF-сети,
• сиамские сети,
• свёрточные нейросети для обработки последовательностей и изображений,
• рекуррентные сети,
• трансформеры,
• графовые нейросети.

Изучаются методы эффективной настройки глубоких нейросетевых моделей, включающие начальную инициализацию моделей и методы оптимизации нейросетей.

Особое внимание уделено способам регуляризации нейросетевых моделей, чтобы контролировать степень переобучения.

Помимо задач регрессии и классификации, рассматриваются и другие применения глубоких нейросетей:

• сжатие объектов (снижение размерности);
• семантическая сегментация, детекция объектов и instance-сегментация объектов на изображениях;
• построение эмбеддингов для слов и параграфов текста, а также для произвольных объектов;
• генерация текстов и последовательностей других дискретных объектов
• классификация вершин и рёбер графа, восстанавление недостающих рёбер на графе.

Учебник начал использоваться в курсах по машинному и глубокому обучению на факультете ВМК МГУ и в магистратуре Т-Банка/МФТИ с сентября 2024 года.

В августе 2025 основные темы учебника были финализированы.

В будущем планируется добавление новых тем.

Ссылки

• DeepMachineLearning.ru