Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(лекции 3 и 4)
Текущая версия (17:36, 14 сентября 2025) (править) (отменить)
(→Оценивание качества тематических моделей)
 
(295 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — [[аддитивная регуляризация тематических моделей]]. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
== Программа курса 2016 ==
+
'''Основной материал:'''
-
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 29.12.2024}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
-
=== Введение ===
+
= Программа курса =
-
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
+
-
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
+
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
* [[Вероятностный латентный семантический анализ]] (PLSA).
+
-
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]], [[Условия Каруша–Куна–Таккера]]. Униграммные модели коллекции и документа.
+
-
* Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
+
-
* ЕМ-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
+
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
-
=== Обзор задач и моделей ===
+
== Задача тематического моделирования ==
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
+
Презентация: [[Media:Voron25ptm-intro.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.09.2025}}.
-
* Разновидности тематических моделей.
+
[https://youtu.be/DU0AQUNW3YI?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Средства визуализации тематических моделей.
+
-
* Разведочный информационный поиск и требования к тематическим моделям.
+
-
* Задача поиска релевантных тем в социальных сетях.
+
-
* Применение тематического моделирования для [[Технология информационного анализа электрокардиосигналов|информационного анализа электрокардиосигналов]].
+
-
* Динамическая модель коллекции пресс-релизов.
+
-
* Проект [[BigARTM]].
+
-
* Открытые проблемы и направления исследований.
+
-
 
+
-
=== Модель латентного размещения Дирихле ===
+
-
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 04.03.2016}}.
+
-
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
+
-
* [[Латентное размещение Дирихле]] (LDA). Некоторые свойства [[Распределение Дирихле|распределения Дирихле]].
+
-
* Теорема о необходимом условии максимума апостериорной вероятности для LDA.
+
-
* Сравнение EM-алгоритма для LDA и PLSA.
+
-
* Алгоритм сэмплирования Гиббса.
+
-
* Модель SWB с фоном и шумом. Робастная тематическая модель.
+
-
* Модель LDA не снижает переобучение, а лишь точнее описывает вероятности редких слов.
+
-
* Способы измерения расстояния между дискретными распределениями. [[Дивергенция Кульбака-Лейблера]].
+
-
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
+
-
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
+
-
 
+
-
=== Аддитивная регуляризация тематических моделей ===
+
-
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
-
* [[Аддитивная регуляризация тематических моделей]].
+
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
+
-
* Регуляризаторы сглаживания и разреживания.
+
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
-
* Частичное обучение как разновидность сглаживания.
+
-
* Регуляризатор декоррелирования тем.
+
-
* Регуляризатор когерентности тем.
+
-
* Регуляризатор отбора тем.
+
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем. Примеры: выделение тематики эпидемий, межэтнических отношений.
+
-
 
+
-
 
+
-
== Программа курса 2015 ==
+
-
* Файл с описанием заданий: [[Media:voron-2014-task-PTM.pdf|voron-2015-task-PTM.pdf]]
+
-
 
+
-
=== Задачи анализа текстов и вероятностные модели ===
+
-
 
+
-
'''Задачи классификации текстов.'''
+
-
* Коллекция текстовых документов. Векторное представление документа.
+
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
-
* Линейный классификатор. Наивный байесовский классификатор.
+
-
* Задача распознавания языка текста.
+
-
* Задача распознавание жанра текста. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
* Задача анализа тональности.
+
-
 
+
-
'''Задачи предварительной обработки текстов.'''
+
-
* Очистка: удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
-
* Выделение и удаление стоп-слов и редких слов.
+
-
 
+
-
'''Задачи информационного поиска.'''
+
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
-
* Дивергенция Кульбака-Леблера и её свойства. Дивергенция Кресси-Рида.
+
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
 
+
-
'''Униграммная модель документов и коллекции.'''
+
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
-
* Униграммная модель документов и коллекции.
+
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг 2011].
+
'''Цели и задачи тематического моделирования.'''
 +
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
 +
* Вероятностная модель порождения текста.
 +
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
 +
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
=== Вероятностный латентный семантический анализ ===
+
'''Аддитивная регуляризация тематических моделей.'''
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
 +
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
 +
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
 +
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
'''Мотивации вероятностного тематического моделирования
+
'''Практика тематического моделирования.'''
-
* Идея понижения размерности: переход от вектора (терминов) к вектору тем.
+
* Проект с открытым кодом BigARTM.
-
* Цели тематического моделирования: разведочный поиск научной информации, навигация и систематизация, агрегирование новостных потоков, классификация и категоризация текстов, обход проблем синонимии и омонимии.
+
* Этапы решения практических задач.
 +
* Методы предварительной обработки текста.
 +
* Датасеты и практические задания по курсу.
-
'''Задача тематического моделирования.'''
+
== Моделирование локального контекста ==
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
Презентация: [[Media:Voron25ptm-local.pdf|(PDF, 3,2 МБ)]] {{важно|— обновление 14.09.2025}}.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
[https://youtu.be/Xe36kQPlbHY?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Онлайновый ЕМ-алгоритм.'''
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
-
* Элементарная интерпретация ЕМ-алгоритма: Е-шаг как формула Байеса для апостериорной вероятности темы, М-шаг как частотные оценки условных вероятностей.
+
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
 +
* Онлайновый EM-алгоритм для ARTM.
 +
* Пакетный онлайновый регуляризованный EM-алгоритм для ARTM.
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Линейная тематизация текста.'''
-
* Проблема больших данных.
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
-
* Эвристика разделения М-шага.
+
* Локализация E-шага. Линейная тематизация. Коэффициенты внимания. Attentive ARTM.
-
* Эвристика разделения коллекции на пачки документов.
+
* Двунаправленная тематическая модель контекста.
-
* Добавление новых документов (folding-in).
+
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
'''Проведение экспериментов на модельных данных.'''
+
'''Аналогия с нейросетевыми моделями языка.'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Свёрточная нейросеть GCNN (Gated Convolutional Network)
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
* Модель само-внимания (self-attention) Query-Key-Value.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Трансформер и онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
* Нейросетевая тематическая модель Contextual-Top2Vec.
-
'''Задание 1.1'''
+
== Реализация ЕМ-алгоритма и комбинирование регуляризаторов ==
-
Обязательные пункты: 1–3 и любой из последующих.
+
Презентация: [[Media:Voron25ptm-regular.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 14.09.2025}}.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
[https://youtu.be/mUMfoBlslQE?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
-
# Реализовать рациональный ЕМ-алгоритм.
+
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
# Исследовать полноту решения. Сколько запусков со случайным начальным приближением необходимо сделать, чтобы найти все исходные темы? Как различность и разреженность исходных тем влияет на полноту?
+
-
'''Литература:''' [Hofmann 1999].
+
'''Часто используемые регуляризаторы.'''
 +
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
-
===Латентное размещение Дирихле===
+
'''Особенности реализации ЕМ-алгоритма для ARTM.'''
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
* Улучшение сходимости несмещёнными оценками.
 +
* Замена логарифма в функции потерь.
 +
* Матричная запись ЕМ-алгоритма.
 +
* Подбор коэффициентов регуляризации. Траектория регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
-
'''Латентное размещение Дирихле (LDA)'''
+
'''Эксперименты с регуляризацией.'''
-
* Свойства [[Распределение Дирихле|распределения Дирихле]].
+
* Производительность BigARTM
-
* Принцип максимума апостериорной вероятности. Модифицированные формулы М-шага.
+
* Оценивание качества: перплексия, когерентность, лексическое ядро
-
* [[Байесовский вывод]]. Свойство сопряжённости мультиномиального распределения и распределения Дирихле. Другие модифицированные формулы М-шага.
+
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
-
* Обзор модификаций формул М-шага.
+
* Комбинирование регуляризаторов, эмпирические рекомендации.
-
* Методы оптимизации гиперпараметров.
+
* Эксперименты с отбором тем на синтетических и реальных данных.
-
* Небайесовская интерпретация модели LDA.
+
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
== Оценивание качества тематических моделей ==
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
Презентация: [[Media:Voron24ptm-quality.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 30.03.2025}}.
-
* Эвристика сэмплирования. Алгоритм сэмплирования Гиббса.
+
[https://youtu.be/OoIetK1pTUA?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
'''Робастные тематические модели.'''
+
'''Измерение качества тематических моделей.'''
-
* Робастная модель с фоном и шумом.
+
* Правдоподобие и перплексия.
-
* Упрощённая робастная модель.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
-
* Почему робастный PLSA лучше, чем LDA. Эффект повышения правдоподобия (перплексии) в робастных моделях с шумом.
+
* Разреженность и различность.
-
'''Способы формирования начальных приближений.'''
+
'''Проверка гипотезы условной независимости.'''
-
* Случайная инициализация.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Инициализация по документам.
+
* Регуляризатор семантической однородности.
-
* Контекстная документная кластеризация.
+
* Применение статистических тестов условной независимости.
-
* Поиск якорных слов. Алгоритм Ароры.
+
-
'''Задание 1.2'''
+
'''Проблема тематической несбалансированности в данных'''
-
Обязательные пункты: 1 и любой из последующих.
+
* Проблема малых тем и тем-дубликатов
-
# Реализовать онлайновый алгоритм OEM.
+
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
* Эксперименты с регуляризаторами отбора тем и декоррелирования
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
* Регуляризатор семантической однородности
-
# Исследовать возможность улучшения качества модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
* Подходы к балансировке тем
-
# Исследовать влияние гиперпараметров на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Hoffman 2010], [Asuncion 2009].
+
== Тематический информационный поиск ==
 +
Презентация: [[Media:Voron24ptm-exp.pdf|(PDF,&nbsp;3,7&nbsp;МБ)]] {{важно|— обновление 24.03.2025}}.
 +
[https://youtu.be/2SkbbDYcBUQ?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
===Аддитивная регуляризация тематических моделей===
+
'''Мультимодальные тематические модели.'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
* Примеры модальностей.
 +
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
'''Многокритериальная регуляризация.'''
+
'''Иерархические тематические модели.'''
-
* Некорректность постановки задачи тематического моделирования.
+
* Иерархии тем. Послойное построение иерархии.
-
* [[Аддитивная регуляризация тематических моделей]].
+
* Регуляризаторы для разделения тем на подтемы.
-
* Вывод формулы M-шага для регуляризованного ЕМ-алгоритма.
+
* Псевдодокументы родительских тем.
-
* Проект [[BigARTM]].
+
* Модальность родительских тем.
-
'''Регуляризаторы сглаживания и разреживания.'''
+
'''Эксперименты с тематическим поиском.'''
-
* Максимизация и минимизация KL-дивергенции.
+
* Методика измерения качества поиска.
-
* Альтернативный вариант разреживания через L0-регуляризацию.
+
* Тематическая модель для документного поиска.
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
* Оптимизация гиперпараметров.
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
<!---
 +
'''Проект «Мастерская знаний»'''
 +
* Поисково-рекомендательная система SciSearch.ru
 +
* Векторный поиск для формирования тематических подборок
 +
* Требования к тематическим моделям для научного информационного поиска--->
-
'''Регуляризаторы частичного обучения.'''
+
== BigARTM и базовые инструменты ==
-
* Частичное обучение как выборочное сглаживание.
+
''Мурат Апишев''.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем.
+
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
-
* Пример: выделение тематики эпидемий, этнических конфликтов.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
'''Ковариационные регуляризаторы.'''
+
'''Предварительная обработка текстов'''
-
* Дековариация тем.
+
* Парсинг «сырых» данных.
-
* Тематические модели цитирования.
+
* Токенизация, стемминг и лемматизация.
-
* Задача выявления корреляций между темами, модель CTM.
+
* Выделение энграмм.
-
* Оценивание параметров (матрицы ковариаций) в модели CTM.
+
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
'''Регуляризаторы для классификации и регрессии.'''
+
'''Библиотека BigARTM'''
-
* Задачи регрессии на текстах. Примеры. Регуляризатор. Формула М-шага.
+
* Методологические рекоммендации по проведению экспериментов.
-
* Задачи классификации текстов. Примеры. Регуляризатор. Формула М-шага.
+
* Установка [[BigARTM]].
 +
* Формат и импорт входных данных.
 +
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
'''Задание 1.3'''
+
'''Дополнительный материал:'''
-
Обязательные пункты: 1 и любой из остальных.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
-
# Исследовать зависимость правдоподобия модели и точности восстановления от степени разреженности исходных модельных данных.
+
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
# Исследовать влияние разреживания на правдоподобие модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на правдоподобие модели.
+
-
# Исследовать влияние частичной разметки на правдоподобие модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения правдоподобия и устойчивости модели.
+
-
# Исследовать влияние сглаживания на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Воронцов, 2013, 2015], [Chemudugunta, 2006].
+
== Проект «Мастерская знаний» ==
 +
Презентация: [[Media:Voron25ptm-kf.png|(PNG,&nbsp;8,1&nbsp;МБ)]] {{важно|— обновление 3.03.2025}}.
-
===Оценивание качества тематических моделей===
+
'''Проект «Мастерская знаний»'''
 +
* Цели, задачи, концепция проекта. Тематические подборки научных текстов.
 +
* Модель векторизации текста для поиска и рекомендаций научных статей.
 +
* Основные сервисы «Мастерской знаний».
-
'''Реальные данные.'''
+
'''Место тематического моделирования в «Мастерской знаний»'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Сервис тематизации подборки.
-
* Внутренние и внешние критерии качества.
+
* Сервисы выявления научных трендов и построения хронологических карт.
-
* Дополнительные данные для построения внешних критериев качества.
+
* Вспомогательные функции в сервисе полуавтоматической суммаризации.
-
'''Перплексия и правдоподобие.'''
+
'''Карты знаний'''
-
* Определение и интерпретация перплекcии.
+
* Задачи иерархической суммаризации одной статьи, подборки статей.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
* Принципы построения интеллект-карт и карт знаний.
-
* Проблема сравнения моделей с разными словарями.
+
* Что такое «тема»? Отличия тематизации и картирования.
-
* Относительная перплексия.
+
-
''' Оценивание качества темы.'''
+
== Мультимодальные тематические модели ==
-
* Лексическое ядро темы: множество типичных терминов темы.
+
Презентация: [[Media:Voron25ptm-modal.pdf|(PDF,&nbsp;2,8&nbsp;МБ)]] {{важно|— обновление 7.04.2025}}.
-
* Чистота и контрастность темы
+
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp старая видеозапись]
-
* Документное ядро темы: множество типичных документов темы.
+
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
 
+
-
'''Статистические тесты условной независимости.'''
+
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
 
+
-
'''Литература:''' [Newman, 2009–2011].
+
-
 
+
-
===Внешние оценки качества тематических моделей===
+
-
 
+
-
'''Оценивание интерпретируемости тем.'''
+
-
* Экспертное оценивание интерпретируемости.
+
-
* Асессорская разметка терминов и документов, релевантных теме.
+
-
* Метод интрузий.
+
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
 
+
-
'''Когерентность.'''
+
-
* Определение когерентности.
+
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
-
* Способы оценивания совместной встречаемости слов.
+
-
 
+
-
'''Суммаризация темы.'''
+
-
* Проблема визуализации тем.
+
-
* Выделение тематичных слов и предложений.
+
-
* Кластеризация тематичных предложений.
+
-
* Ранжирование тематичных предложений.
+
-
* Асессорская разметка предложений, релевантных теме.
+
-
* Задача автоматического именования темы.
+
-
 
+
-
'''Критерии качества классификации и ранжирования.'''
+
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
-
 
+
-
'''Задание 1.4.'''
+
-
# Применить OEM к реальным коллекциям.
+
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
-
 
+
-
'''Литература:'''
+
-
 
+
-
===Мультимодальные регуляризованные тематические модели===
+
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
-
 
+
-
'''Мультимодальная АРТМ.'''
+
-
* Виды модельностей и примеры прикладных задач.
+
-
* Вывод формул М-шага.
+
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
-
* Тематическая модель текста и изображений.
+
-
* Задача аннотирования изображений.
+
'''Мультиязычные тематические модели.'''
'''Мультиязычные тематические модели.'''
* Параллельные и сравнимые коллекции.
* Параллельные и сравнимые коллекции.
* Регуляризаторы для учёта двуязычных словарей.
* Регуляризаторы для учёта двуязычных словарей.
 +
* Кросс-язычный информационный поиск.
-
'''Модели многоматричных разложений.'''
+
'''Трёхматричные модели.'''
-
* Понятие порождающей модальности.
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Вывод формул М-шага.
+
* Автор-тематическая модель (author-topic model).
* Автор-тематическая модель (author-topic model).
* Модель для выделения поведений объектов в видеопотоке.
* Модель для выделения поведений объектов в видеопотоке.
-
'''Гиперграфовая модель.'''
+
'''Тематические модели транзакционных данных.'''
-
* Примеры транзакционных данных в социальных и рекламных сетях.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Вывод формул М-шага.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
 +
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Литература:'''
+
== Анализ зависимостей ==
 +
Презентация: [[Media:Voron24ptm-rel.pdf|(PDF,&nbsp;2,5&nbsp;МБ)]] {{важно|— обновление 14.04.2025}}.
 +
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp старая видеозапись]
-
===Определение числа тем и иерархические модели===
+
'''Зависимости, корреляции, связи.'''
 +
* Тематические модели классификации и регрессии.
 +
* Модель коррелированных тем CTM (Correlated Topic Model).
 +
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
'''Регуляризатор энтропийного разреживания.'''
+
'''Время и пространство.'''
-
* Регуляризатор и формула М-шага. Эффект строкового разреживания.
+
* Регуляризаторы времени.
-
* Определение истинного числа тем в экспериментах с полумодельными данными.
+
* Обнаружение и отслеживание тем.
-
* Гипотеза о несуществовании истинного числа тем.
+
* Гео-пространственные модели.
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
-
* Сравнение с моделью иерархических процессов Дирихле.
+
-
'''Тематическая модель с фиксированной иерархией.'''
+
'''Социальные сети.'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
-
* Необходимость частичного обучения для задачи категоризации.
+
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
* Регуляризаторы для выявления социальных ролей пользователей.
-
* Задача построения разреженного иерархического тематического профиля документа.
+
-
'''Послойное нисходящее построение тематической иерархии.'''
+
== Именование и суммаризация тем ==
-
* Регуляризатор матрицы Фи.
+
Презентация: [[Media:Voron25ptm-sum.pdf|(PDF,&nbsp;2,9&nbsp;МБ)]] {{важно|— обновление 28.04.2025}}.
-
* Регуляризатор матрицы Тета.
+
[https://youtu.be/nShxhkPbGWY старая видеозапись]
-
* Измерение и оптимизация качества иерархических моделей.
+
-
* Разреживание вероятностного отношения тема—подтема.
+
-
'''Одновременное построение всех слоёв тематической иерархии.'''
+
'''Методы суммаризации текстов.'''
 +
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
 +
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
 +
* Тематическая модель предложений для суммаризации.
 +
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
'''Литература:''' .
+
'''Автоматическое именование тем (topic labeling).'''
 +
* Формирование названий-кандидатов.
 +
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
-
===Тематические модели, учитывающие порядок слов===
+
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
-
'''Мультиграммные модели.'''
+
== Проект «Тематизатор» ==
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
Презентация: [[Media:Voron25ptm-project.pdf|(PDF,&nbsp;6,7&nbsp;МБ)]] {{важно|— обновление 21.04.2025}}.
-
* Морфологический и синтаксический анализ текста.
+
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Отбор фраз с подчинительными связями.
+
-
* Отбор фраз по статистическому критерию коллокации C-Value. Совмещение критериев TF-IDF и CValue.
+
-
* Отбор фраз по оценке тематичности.
+
-
* Задача сокращения словаря (vocabulary reduction) и проблема сравнения моделей с разными словарями.
+
-
'''Регуляризаторы для выделения энграмм.'''
+
'''Визуализация тематических моделей'''
-
* Биграммная тематическая модель.
+
* Концепция distant reading.
 +
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
 +
* Спектр тем.
 +
* Визуализация матричного разложения.
-
'''Сегментирующие тематические модели.'''
+
'''Примеры прикладных задач'''
-
* Позиционный регуляризатор, вывод формул М-шага.
+
* Поиск этно-релевантных тем в социальных сетях.
-
* Пост-обработка Е-шага.
+
* Анализ программ развития российских вузов.
-
* Интерпретация текста как пучка временных рядов и задача разладки.
+
* Поиск и рубрикация научных статей на 100 языках.
-
* Алгоритм тематической сегментации.
+
* Проекты Школы Прикладного Анализа Данных.
-
* Тематические модели предложений (sentence topic model).
+
-
'''Векторная модель word2vec.'''
+
'''Анализ требований к «Тематизатору»'''
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
* Функциональные требования.
-
* Гибрид тематической модели и векторной модели word2vec.
+
* Требования к интерпретируемости.
-
* Связь word2vec с регуляризатором когерентности.
+
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
-
* Эксперименты с гибридной моделью W2V-TM.
+
* Этапизация работ.
-
'''Литература:''' .
+
== Тематические модели сочетаемости слов ==
 +
Презентация: [[Media:Voron25ptm-cooc.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 5.05.2025}}.
 +
[https://youtu.be/zuN5HECqv3I?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись] и ещё одна
 +
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 старая видеозапись]
-
===Динамические и пространственные тематические модели===
+
'''Мультиграммные модели и выделение терминов.'''
 +
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
 +
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
'''Тематические модели с модальностью времени.'''
+
'''Тематические модели дистрибутивной семантики.'''
-
* Регуляризатор разреживания тем в каждый момент времени.
+
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
-
* Регуляризаторы сглаживания темы как временного ряда.
+
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
-
* Вывод M-шага для негладкого регуляризатора.
+
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
<!--* Регуляризаторы когерентности. -->
-
'''Тематические модели с модальностью геолокации.'''
+
'''Позиционный регуляризатор в ARTM.'''
-
* Тематические модели социальных сетей.
+
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
===Траектории регуляризации===
+
'''Дополнительный материал:'''
 +
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
'''Обучение с подкреплением'''
+
== Байесовское обучение модели LDA ==
-
* Контекстный многорукий бандит.
+
Презентация: [[Media:Voron25ptm-bayes.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 11.05.2025}}.
-
* Инкрементная регрессия.
+
[https://youtu.be/ZAtfN0ApQh0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=20 старая видеозапись]
-
* Регрессия с верхними доверительными границами (UCB).
+
-
'''Задача оптимизации трактории в пространстве коэффициентов регуляризации'''
+
'''Классические модели PLSA, LDA.'''
-
* Относительные коэффициенты регуляризации.
+
* Модель PLSA.
-
* Признаковое описание контекста. Метрики качества тематической модели.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Функция премии и скаляризация критериев.
+
* Максимизация апостериорной вероятности для модели LDA.
-
* Особенности реализации обучения с подкреплением в онлайновом ЕМ-алгоритме.
+
-
===Визуализация тематических моделей===
+
'''Вариационный байесовский вывод.'''
 +
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
-
'''Навигация по тематической модели.'''
+
'''Сэмплирование Гиббса.'''
-
* Визуализатор TMVE.
+
* Основная теорема о сэмплировании Гиббса.
-
* Визуализатор Termite.
+
* [[Сэмплирование Гиббса]] для модели LDA.
-
* Визуализатор для [[BigARTM]].
+
* GS ЕМ-алгоритм для модели LDA.
-
'''Методы визуализации.'''
+
'''Замечания о байесовском подходе.'''
-
* Задача и методы многомерного шкалирования.
+
* Оптимизация гиперпараметров в LDA.
-
* Визуализация «дорожной карты» темы или набора тем.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
-
* Визуализация тематических иерархий.
+
* Сравнение байесовского подхода и ARTM.
-
* Визуализация динамических моделей, метафора «реки тем».
+
* Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.
-
* Визуализация тематической структуры документа.
+
-
* Визуализация модели трёх источников.
+
-
'''Средства разведочного поиска.'''
+
<!---
-
* Концепция пользовательского интерфейса для разведочного поиска.
+
== Теория ЕМ-алгоритма ==
-
* Концепция иерархической суммаризации.
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
 +
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
===Большие данные===
+
'''Общий EM-алгоритм.'''
 +
* EM-алгоритм для максимизации неполного правдоподобия.
 +
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
 +
* Альтернативный вывод формул ARTM.
-
'''Параллельные и распределённые алгоритмы.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Обзор подходов к распараллеливанию онлайнового EМ-алгоритма.
+
* Проблема неустойчивости (на синтетических данных).
-
* Распараллеливание онлайнового EМ-алгоритма в [[BigARTM]].
+
* Проблема неустойчивости (на реальных данных).
-
* Распределённое хранение коллекции.
+
* Проблема переобучения и робастные модели.
-
'''Обработка больших коллекций в BigARTM.'''
+
== Моделирование сегментированного текста ==
-
* Особенности предварительной обработки.
+
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
-
* Коллекция Википедии.
+
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 старая видеозапись]
-
* Коллекция arXiv.org.
+
-
* Коллекция социальной сети VK.
+
-
==Литература==
+
'''Мультиграммные модели.'''
 +
* Модель BigramTM.
 +
* Модель Topical N-grams (TNG).
 +
* Мультимодальная мультиграммная модель.
 +
 
 +
'''Тематические модели предложений.'''
 +
* Тематическая модель предложений senLDA.
 +
* Модель коротких сообщений Twitter-LDA.
 +
* Сегментоиды. Лексические цепочки.
 +
 
 +
'''Тематическая сегментация текста.'''
 +
* Метод TopicTiling. Критерии определения границ сегментов.
 +
* Критерии качества сегментации.
 +
* Оптимизация параметров модели TopicTiling.
 +
--->
 +
 
 +
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
 +
 
 +
'''Рекомендуемая структура отчёта об исследовании:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
 +
 
 +
'''Примеры отчётов:'''
 +
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
'''Основная литература'''
+
=Литература=
 +
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2025.
 +
# ''Xiaobao Wu, Thong Nguyen, Anh Tuan Luu.'' [https://arxiv.org/abs/2401.15351 A Survey on Neural Topic Models: Methods, Applications, and Challenges]. 2023.
 +
# ''Rob Churchill, Lisa Singh.'' [https://dl.acm.org/doi/10.1145/3507900 The Evolution of Topic Modeling]. 2022.
 +
# ''He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine.'' [https://arxiv.org/abs/2103.00498 Topic Modelling Meets Deep Neural Networks: A Survey]. 2021.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
# ''Vorontsov K. V., Potapenko A. A.'' [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 
'''Дополнительная литература'''
'''Дополнительная литература'''
Строка 423: Строка 379:
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
== Ссылки ==
+
= Ссылки =
-
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
+
* [[Тематическое моделирование]]
* [[Тематическое моделирование]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Коллекции документов для тематического моделирования]]
* [[Коллекции документов для тематического моделирования]]
* [[BigARTM]]
* [[BigARTM]]
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
-
* BigARTM: тематическое моделирование больших текстовых коллекций. [http://www.meetup.com/Moscow-Data-Fest/events/224856462/ Data Fest #1], 12 сентября 2015. '''[[Media:voron-2015-datafest.pdf|(PDF,&nbsp;6.5&nbsp;МБ)]]'''.
+
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 +
 
 +
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
 +
 
 +
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
 +
 +
<!---------------------------------------------------
 +
 +
'''Модели связного текста.'''
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 +
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
 +
 +
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
 +
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
 +
 +
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
 +
 +
== Инициализация, траектория регуляризации, тесты адекватности ==
 +
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
'''Траектория регуляризации.'''
 +
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
 +
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
 +
 +
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
 +
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
 +
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
 +
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 1,7 МБ) — обновление 11.09.2025. старая видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Моделирование локального контекста

Презентация: (PDF, 3,2 МБ) — обновление 14.09.2025. старая видеозапись

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Онлайновый EM-алгоритм для ARTM.
  • Пакетный онлайновый регуляризованный EM-алгоритм для ARTM.

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага. Линейная тематизация. Коэффициенты внимания. Attentive ARTM.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с нейросетевыми моделями языка.

  • Свёрточная нейросеть GCNN (Gated Convolutional Network)
  • Модель само-внимания (self-attention) Query-Key-Value.
  • Трансформер и онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
  • Нейросетевая тематическая модель Contextual-Top2Vec.

Реализация ЕМ-алгоритма и комбинирование регуляризаторов

Презентация: (PDF, 1,4 МБ) — обновление 14.09.2025. старая видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Особенности реализации ЕМ-алгоритма для ARTM.

  • Улучшение сходимости несмещёнными оценками.
  • Замена логарифма в функции потерь.
  • Матричная запись ЕМ-алгоритма.
  • Подбор коэффициентов регуляризации. Траектория регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.
  • Эксперименты с отбором тем на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Оценивание качества тематических моделей

Презентация: (PDF, 1,7 МБ) — обновление 30.03.2025. старая видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности
  • Подходы к балансировке тем

Тематический информационный поиск

Презентация: (PDF, 3,7 МБ) — обновление 24.03.2025. старая видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

  • Цели, задачи, концепция проекта. Тематические подборки научных текстов.
  • Модель векторизации текста для поиска и рекомендаций научных статей.
  • Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

  • Сервис тематизации подборки.
  • Сервисы выявления научных трендов и построения хронологических карт.
  • Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

  • Задачи иерархической суммаризации одной статьи, подборки статей.
  • Принципы построения интеллект-карт и карт знаний.
  • Что такое «тема»? Отличия тематизации и картирования.

Мультимодальные тематические модели

Презентация: (PDF, 2,8 МБ) — обновление 7.04.2025. старая видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Анализ зависимостей

Презентация: (PDF, 2,5 МБ) — обновление 14.04.2025. старая видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Именование и суммаризация тем

Презентация: (PDF, 2,9 МБ) — обновление 28.04.2025. старая видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Проект «Тематизатор»

Презентация: (PDF, 6,7 МБ) — обновление 21.04.2025. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,4 МБ) — обновление 5.05.2025. старая видеозапись и ещё одна старая видеозапись

Мультиграммные модели и выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Байесовское обучение модели LDA

Презентация: (PDF, 2,1 МБ) — обновление 11.05.2025. старая видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.


Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2025.
  2. Xiaobao Wu, Thong Nguyen, Anh Tuan Luu. A Survey on Neural Topic Models: Methods, Applications, and Challenges. 2023.
  3. Rob Churchill, Lisa Singh. The Evolution of Topic Modeling. 2022.
  4. He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine. Topic Modelling Meets Deep Neural Networks: A Survey. 2021.
  5. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  6. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  7. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  8. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2024
Источник — «http://www.recognition.su/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты