Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Лекция 1А. Научный метод и основы машинного обучения 1.1.1 Домашинная история машинного обучения 1.1.2 Базовые определения и обозначения 1.1.3 Примеры прикладных задач 1.2 Лекция 1Б. Эпистемология машинного обучения и научный метод 1.2.1 Метод научного познания 1.2.2 Математические технологии автоматизации научного метода 1.2.3 Место и роль AI/ML в современном мире 1.3 Лекция 2А. Градиентная оптимизация и линейные модели 1.3.1 Градиентные методы оптимизации 1.3.2 Основные типы задач обучения с учителем 1.3.3 Линейные модели 1.4 Лекция 2Б. Представление знаний 1.4.1 Что такое знания 1.4.2 Интеллект-карты и радиантное мышление 1.4.3 Глобальная карта знаний человечества 1.5 Лекция 3А. Нейронные сети 1.5.1 Многослойные нейронные сети 1.5.2 Метод обратного распространения ошибок 1.5.3 Глубокие нейронные сети 1.6 Лекция 3Б. Цивилизационная роль искусственного интеллекта 1.6.1 Эволюция систем передачи знаний и смена технологических укладов 1.6.2 Четвёртая и пятая парадигмы науки 1.6.3 Возможности и угрозы искусственного интеллекта 1.7 Лекция 4А. Эволюция идей машинного обучения 1.7.1 Вектор → вектор → скаляр 1.7.2 Структура → вектор → скаляр 1.7.3 Структура → вектор → структура 1.8 Лекция 4Б. Конструирование образов будущего 1.8.1 Системное визионерство и возможные сценарии будущего 1.8.2 Интеллектуальные помощники и цифровое послесмертие 1.8.3 Литературные вселенные фантастики ближнего прицела 1.9 Лекция 5А. Обучаемая векторизация данных 1.9.1 Матричные разложения 1.9.2 Векторные представления текстов и графов 1.9.3 Трансформеры и большие языковые модели 1.10 Лекция 5Б. Великолепное человечество 1.10.1 Возможности и угрозы искусственного интеллекта 1.10.2 Социальная доктрина 1.10.3 От кодексов этики к регламентам и стандартам 1.11 Лекция 6А. Методология машинного обучения 1.11.1 Методология решения практических задач 1.11.2 Типология задач и моделей машинного обучения 1.11.3 Оценивание качества и выбор моделей 1.12 Лекция 6Б. Цивилизационное мировоззрение 1.12.1 Цивилизационная система ценностей 1.12.2 Технологическая сингулярность и закон сохранения цивилизации 1.12.3 Этика человеко-машинной цивилизации 1.13 Лекция 7А1. Конструирование моделей: шесть научных школ 1.13.1 Символизм и эволюционизм 1.13.2 Аналогизм и байесионизм 1.13.3 Коннекционизм и композиционизм 1.14 Лекция 7А2. Динамические задачи машинного обучения 1.14.1 Инкрементное обучение 1.14.2 Активное обучение 1.14.3 Обучение с подкреплением 2 Задания по курсу 3 См. также 4 Литература 5 Задания и отчёты

Курс Философия. Введение в ИИ состоит из двух параллельных веток, которые сомкнутся ближе к концу курса.

Ветка А — математическая, введение в машинное обучение. Цель — изучить основные задачи, подходы, модели и методы, чтобы разобраться, каким образом Искусственный интеллект прошёл путь от Дартмутского семинара 1956 года до больших языковых моделей и интеллектуальных агентов сегодняшнего дня, какие идеи оказались в итоге ключевыми, что ИИ представляет из себя внутри, и почему это работает.

Ветка Б — гуманитарная, на стыке философии и практической работы с большими языковыми моделями. Цель — научиться задавать вопросы, видеть проблемы и искать решения, связанные с влиянием ИИ на человека и общество. Например, ответить самому себе на вопрос, чем заниматься и чем не заниматься в области ИИ — создавать возможности или устранять угрозы? Как превращать кодексы этики ИИ и категорический императив Канта в эффективные промпты, приносящие пользу людям. Как делать визионерские прогнозы про общий искусственный интеллект (AGI, Artificial General Intelligence), возможно ли сделать его человечным, в каком смысле, и что для этого можно делать уже сегодня.

Курс вводный. В качестве заданий НЕ предлагается доказывать теоремы, разрабатывать вычислительные методы, решать контесты или задачи на реальных датасетах. Этого будет достаточно в других курсах. Мы будем писать статьи про искусственный интеллект и машинное обучение на вики MachineLearning.ru, с помощью искусственного интеллекта.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей математической статистики, методов оптимизации.

Задание 1. Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 1

Задание 2. Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 2.

Программа курса

Лекция 1А. Научный метод и основы машинного обучения

Домашинная история машинного обучения

• принцип эмпирической индукции Фрэнсиса Бэкона (1620)
• восстановление зависимостей по эмпирическим данным — основная задача естествознания
• метод наименьших квадратов Гаусса—Лежандра (1795); построение эллипса по точкам; линейные и нелинейные параметрические модели
• принцип регрессии (и не только к посредственности) Фрэнсиса Гальтона (1886)
• принцип классификации (и не только цветков ириса) Рональда Фишера (1936)

Базовые определения и обозначения

• постановка задачи: дано—найти—критерий (ДНК задачи)
• объекты и признаки; преобразование признаков и генерация признаков; типы признаков и типы задач обучения с учителем
• модель, функция потерь, минимизация эмпирического риска
• обучение — это оптимизация параметров модели по выборке данных
• переобучение; эксперимент с полиномиальной регрессией
• эмпирическое оценивание обобщающей способности
• машинное обучение как автоматизация метода научного познания

Примеры прикладных задач

• задачи на табличных данных: классификация, регрессия, обучение ранжированию
• задачи со сложно структурированным данными, понятие генеративных моделей

Лекция 1Б. Эпистемология машинного обучения и научный метод

Эпистемология (от греч. ἐπιστήμη — знание и λόγος — учение) — философско-методологическая дисциплина, которая фокусируется на исследовании знания как такового, его строения, структуры, функционирования и развития.

Метод научного познания

• принцип верифицируемости (философ Ф.Бэкон)
• принцип фальсифицируемости (философ К.Поппер)
• принцип погрешимости, фаллибилизма (философ и математик Ч.Пирс)
• принцип соответствия (физик Н.Бор)
• принцип минимальной достаточности (францисканский монах У.Оккам)
• принцип воспроизводимости (химик Р.Бойль)
• принцип научной честности (физик Р.Фейнман)

Математические технологии автоматизации научного метода

• формализация принципов научного метода
• проверка статистических гипотез
• восстановление зависимостей по эмпирическим данным

Место и роль AI/ML в современном мире

• отчёты правительства США о роли AI в автоматизации будущего (2016)
• интеллект-карта — тексто-графическое представление области знаний AI/ML
• взаимоотношение областей AI и ML
• определения искусственного интеллекта
• вики-проект MachineLearning.ru

Лекция 2А. Градиентная оптимизация и линейные модели

Градиентные методы оптимизации

• оптимизационная постановка задачи обучения
• метод стохастического градиента
• ускорение сходимости: метод инерции Поляка, ускоренный градиент Нестерова, диагональный метод Левенберга-Марквардта, метод наискорейшего спуска
• другие эвристики: инициализация, перетасовка, мультистарт

Основные типы задач обучения с учителем

• задача регрессии: функции потерь, робастная регрессия
• задача классификации: понятие отступа, функции потерь, многоклассовая классификация
• задача ранжирования: понятие парного отступа, парная функция потерь

Линейные модели

• линейный классификатор, логистическая регрессия
• проблема мультиколлинеарности
• регуляризация L2, L1, L0, Lp; отбор признаков в линейных моделях
• негладкость регуляризатора и негладкость функции потерь
• метод опорных векторов (SVM), ядра, SVM-регрессия

Лекция 2Б. Представление знаний

Что такое знания

• концепция DIKW (данные — информация — знания — мудрость)
• накопление, представление и передача научного знания; связь с научным методом
• формы представления знаний: человеко-ориентированные и машинно-ориентированные
• представление знаний для машины: фреймы, онтологии, продукции, экспертные системы
• представление знаний для человека: гипертекст, вики, интеллект-карты

Интеллект-карты и радиантное мышление

• принцип мышления «от главного к второстепенному»
• иерархическое (радиантное) структурирование знаний и идей
• структурированность как фактор доверия между людьми, между человеком и ИИ
• 16 принципов построения интеллект-карт
• интеллект-карты как инструмент индивидуального и коллективного мышления
• концепции «коллективного разума»

Глобальная карта знаний человечества

• 6 принципов построения карт знаний
• глобальное семантическое ядро: понятийное, естественнонаучное, цивилизационное
• задачи автоматизации построения карт, иерархической суммаризации текстов
• место и роль генеративного ИИ в создании глобальной карты знаний

Лекция 3А. Нейронные сети

Многослойные нейронные сети

• нейрон как линейный классификатор, модель МакКаллока—Питтса (1943)
• первый нейрокомпьютер Mark-1 Фрэнка Розенблатта (1960)
• многослойные нейронные сети
• двух слоёв достаточно!(?) Универсальная теорема аппроксимации
• сеть Колмогорова-Арнольда

Метод обратного распространения ошибок

• постановка задачи оптимизации
• быстрое дифференцирование суперпозиции функций
• метод стохастического градиента
• вывод и псевдокод BackProp
• эвристики для ускорения сходимости: Dropout, ResNet, BatchNorm
• проблема взрыва градиентов

Глубокие нейронные сети

• зимы искусственного интеллекта
• преимущества и обоснования глубоких сетей
• обучаемая векторизация данных

Лекция 3Б. Цивилизационная роль искусственного интеллекта

Эволюция систем передачи знаний и смена технологических укладов

• интеллект-карта: эволюция систем передачи знаний
• технологические уклады, циклы Кондратьева и технологические революции
• закон Мура и технологическая сингулярность по Курцвейлу

Четвёртая и пятая парадигмы науки

• первая — феноменологическая: наблюдения, эксперименты, измерения, данные
• вторая — теоретическая: объяснения, теории, законы
• третья — вычислительная: компьютерное моделирование, физичные модели
• четвёртая — информационная: извлечение знаний из больших данных, нефизичные модели
• пятая — машинная: автоматизация полного цикла исследований

Возможности и угрозы искусственного интеллекта

• AI4Research — автоматизация анализа научной литературы
• AI4Science — автоматизация научных исследований
• архив науки становится объектом непрерывной обработки информации
• человек становится архитектором, отвечая за целеполагание
• ИИ становится генератором гипотез и рутинным исполнителем
• риски генеративного ИИ: галлюцинации у модели, когнитивные искажения у пользователя

Лекция 4А. Эволюция идей машинного обучения

Вектор → вектор → скаляр

• табличные данные — задачи с векторными признаковыми описаниями объектов
• преобразование признаков: ослабление и усиление шкалы измерений, нормализация, стандартизация
• генерация признаков, примеры прикладных задач

Структура → вектор → скаляр

• свёрточные сети для классификации изображений — прорыв векторизации
• конкурс ImageNet, сеть AlexNet — прорыв больших данных
• сеть ResNet — прорыв глубины
• обучаемая векторизация сложно структурированных данных, примеры прикладных задач
• перенос обучения, самостоятельное обучение — прорыв предобучения

Структура → вектор → структура

• автокодировщики, вариационный автокодировщик
• многозадачное обучение
• фундаментальная модель (foundation model)
• генеративная состязательная сеть

Лекция 4Б. Конструирование образов будущего

Системное визионерство и возможные сценарии будущего

Интеллектуальные помощники и цифровое послесмертие

Литературные вселенные фантастики ближнего прицела

Лекция 5А. Обучаемая векторизация данных

Матричные разложения

• метод главных компонент
• матричные разложения LFM, ALS, NNMF, PLSA
• вероятностное тематическое моделирование
• рекомендательные системы

Векторные представления текстов и графов

• многомерное шкалирование
• графовое разложение
• обобщённый автокодировщик на графах GraphEDM
• модели дистрибутивной семантики, word2vec, FastText

Трансформеры и большие языковые модели

• модель внимания
• трансформер для машинного перевода
• трансформер-кодировщик BERT, критерии обучения
• генеративный предобученный трансформер GPT
• эмерджентность больших языковых моделей

Лекция 5Б. Великолепное человечество

Magnifica Humanitas — первая энциклика папы римского Льва XIV, посвящённая «сохранению человеческой личности в эпоху искусственного интеллекта», опубликована 25 мая 2026 г.

Возможности и угрозы искусственного интеллекта

Социальная доктрина

От кодексов этики к регламентам и стандартам

Лекция 6А. Методология машинного обучения

Методология решения практических задач

• межотраслевой стандарт CRISP-DM
• свойства реальных данных: сырые, неполные, неточные, неудобные, разнородные, «грязные»
• предварительная обработка данных: обработка пропущенных значений, детекция аномалий, детекция выбросов

Типология задач и моделей машинного обучения

• обучение с учителем: регрессия, классификация, ранжирование
• обучение без учителя: восстановление плотности распределения, разделение смеси распределений, кластеризация, векторизация, понижение размерности
• совместное обучение моделей: частичное обучение, суррогатное обучение и дистилляция, обучение с привилегированной информацией
• шесть школ машинного обучения по Педро Домингосу: символизм, коннекционизм, эволюционизм, байесионизм, аналогизм, композиционизм
• нужно ли искать «мастер-алгоритм»?

Оценивание качества и выбор моделей

• оценивание качества классификации: ROC-кривая, AUROC, точность, полнота и F-мера
• выбор модели, обобщающая способность, внешний критерий, скользящий контроль
• анализ ошибок, эмпирическое распределение потерь
• AutoML — автоматический выбор моделей и гиперпараметров
• мета-обучение (meta-learning, learning to learn)
• A/B тестирование

Лекция 6Б. Цивилизационное мировоззрение

Цивилизационная система ценностей

Технологическая сингулярность и закон сохранения цивилизации

Этика человеко-машинной цивилизации

Лекция 7А1. Конструирование моделей: шесть научных школ

Символизм и эволюционизм

• комбинаторная оптимизация для поиска оптимального подмножества в конечном множестве
• логические методы классификации, понятие логической закономерности, индукция правил, решающее дерево
• методы отбора признаков
• метод группового учёта аргументов и эволюционный алгоритм
• символьная регрессия

Аналогизм и байесионизм

• метрические методы классификации, регрессии, восстановления плотности, кластеризации
• вероятностно-статистические методы, оптимальный байесовский классификатор, наивный байесовский классификатор
• байесовское обучение и байесовский вывод

Коннекционизм и композиционизм

• искусственная нейронная сеть
• композиционные методы, бустинг, бэггинг
• смесь экспертов

Лекция 7А2. Динамические задачи машинного обучения

Инкрементное обучение

• алгоритм Passive-Aggressive
• прогнозирование временных рядов, экспоненциальное скользящее среднее, адаптивные методы краткосрочного прогнозирования
• адаптивная селекция моделей, адаптивная композиция моделей
• алгоритм Hedge

Активное обучение

• активное обучение, семплирование по неуверенности
• краудсорсинг

Обучение с подкреплением

• обучение с подкреплением, однорукий бандит, UCB, компромисс обучение-применение
• среда с состояниями, Q-обучение
• параметризация стратегии и policy gradient
• модель актёр-критик

Задания по курсу

Скользящий контроль — пример статьи, сгенерированной LLM (промпты здесь: Обсуждение:Скользящий контроль)

См. также

• Введение в машинное обучение (курс лекций, К.В.Воронцов)
• Машинное обучение (курс лекций, К.В.Воронцов)

Литература

Учебники

1. Онлайн-учебник по машинному обучению от ШАД.
2. Николенко С. Машинное обучение: основы, 2025. — 608 c.
3. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение: основы, 2024. — 480 c.
4. Мэрфи К.П. Вероятностное машинное обучение. Введение, 2022. – 940 с.
5. Мэрфи К.П. Вероятностное машинное обучение. Дополнительные темы: основания, вывод, 2024. – 810 с.
6. Дайзенрот М. П, Альдо Фейзал А, Чен Сунь Он Питер. Математика в машинном обучении, 2024. – 512 с.
7. Уилке К. Основы визуализации данных: пособие по эффективной и убедительной подаче информации, 2024. – 352 с.
8. Шай Шалев-Шварц, Шай Бен-Давид. Идеи машинного обучения. От теории к алгоритмам, 2019. — 436 c.
9. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. 2011. 256 с.
10. Мерков А.Б. Распознавание образов. Построение и обучение вероятностных моделей. 2014. 238 с.
11. Коэльо Л.П., Ричарт В. Построение систем машинного обучения на языке Python. 2016. 302 с.
12. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2014. — 739 p.
13. Bishop C.M. Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.

Науч-поп

1. Марков С. Охота на электроовец. Большая книга искусственного интеллекта. Том 1. 2024. — 568 с.
2. Марков С. Охота на электроовец. Большая книга искусственного интеллекта. Том 2. 2024. — 784 с.
3. Домингос П. Верховный алгоритм. Как машинное обучение изменит наш мир, 2016. — 336 c.

Задания и отчёты

Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 1

Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 1/Выполнение