Участник:Vokov/Некоторые задачи интеллектуального анализа данных (лекция)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
Строка 3: Строка 3:
{{S|28 апреля 2008 года.}}
{{S|28 апреля 2008 года.}}
-
'''Файл презентации'''
+
Файл презентации: [[Медиа:VokovLectureMMP-2008.pdf]], 764 КБ
== План-конспект лекции ==
== План-конспект лекции ==

Версия 04:12, 28 апреля 2008

Содержание

Лекция в рамках курса «Современные проблемы прикладной математики» студентам 5 курса ВМиК МГУ. 28 апреля 2008 года.

Файл презентации: Медиа:VokovLectureMMP-2008.pdf, 764 КБ

План-конспект лекции

Задачи обучения по прецедентам

Общая постановка, основные понятия: объекты, признаки, выборка, алгоритм обучения.

Типы задач: классификация, регрессия, прогнозирование.

Свойства реальных данных: многомерность, разнородность, неполнота, неточность, противоречивость, огромный объём.

Задачи и методы классификации

Примеры прикладных задач: медицинская диагностика, кредитный скоринг (credit scoring), предсказание ухода клиентов (churn prediction).

Методы классификации (минутный обзор).

Дискретно-логические методы классификации. Требования интерпретируемости, информативности и покрытия. Критерии закономерности и неслучайности.

Методы поиска логических закономерностей в форме конъюнкций (rule induction). Локальный поиск, случайный поиск с адаптацией, генетические алгоритмы.

Поиск закономерностей в сверхбольших данных. Самплинг (sampling).

Оценивание вероятности (probabilistic output, probabilistic calibration) и риска. Контрольная выборка, нечеткие правила.

Ссылки:

  1. J. Platt Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods. Advances in Large Margin Classiers, MIT Press, 1999.


Прогнозирование временных рядов

Примеры прикладных задач: прогнозирование цен и объемов потребления электроэнергии; прогнозирование спроса на товары в супермаркетах (sales forecast).

Проблема 1: как прогнозировать каждый день объёмы продаж 40 тысяч товаров в 200 магазинах, не покупая суперкомпьютер?

Проблема 2: как прогнозировать, если функционал потерь неквадратичен, несимметричен?

Прогнозирование плотности распределения (density forecast).

Ссылки:

  1. Yong Bao, Tae-Hwy Lee, Burak Saltoğlu Comparing Density Forecast Models, 2006.
  2. Stephen G. Hall, James Mitchell Density Forecast Combination. 2004.

Анализ клиентских сред

Примеры прикладных задач: персонализация предложения в интернет-магазинах, видеопрокате, электронных библиотеках. Задача Netflix.

Постановка задачи коллаборативной фильтрации (collaborative filtering, CF). Матрица users–items.

Методы коллаборативной фильтрации. Анализ пользователей (user-based CF). Анализ айтемов (item-based CF). Байесовские генеративные модели и восстановление скрытых интересов пользователей.

Ссылки:

  1. Лидеры конкурса Netflix
  2. Collaborative Filtering Resources — софт, данные, статьи по CF.

Анализ текстов

Пример задачи: обнаружение заимствований (плагиата). Система Антиплагиат.

Постановки задач распознавания при обнаружении заимствований: различение плагиата и цитирования.

Ссылки:

  1. www.antiplagiat.ru
  2. Патент iParadigms
  3. Интернет-математика отчёты по конкурсам Яндекс.

Темы рефератов

Рефераты подаются на кафедру ММП в бумажном виде
и присылаются лектору в электронном виде для проверки в системе Антиплагиат.


Не принимаются рефераты, написанные по материалам сайтов

www.forecsys.ru, www.MachineLearning.ru, домашняя страница лектора


  1. Методы классификации, применяемые для предсказания ухода клиентов (churn prediction).
    • Логистическая регрессия, решающие деревья, нейронные сети... что ещё? что лучше и почему?
    • Для чего и как используются оценки вероятности ухода?
    • Как планируются маркетинговые акции на основе сделанных предсказаний?
  2. Оценивание вероятностей классов в логических алгоритмах классификации (probabilistic output, probabilistic calibration).
    • Оценивание для SVM, логистической регрессии и прочих не-логических методов не предлагать!
    • Логит-анализ, пробит-анализ... что ещё?
    • Используется ли непараметрическое оценивание (сглаживание, kernel smoothing)?
  3. Обзор методов, применяемых для прогнозирования объёмов продаж (sales forecast).
    • Нейросеть не предлагать!
    • Обзор методов, дающих прогнозы в виде плотности распределения возможных значений (density forecast).
    • Как учитываются взаимозависимости товаров при прогнозировании?
  4. Внешние факторы, учитываемые при прогнозировании цен и объемов потребления электроэнергии.
    • Погода и её прогноз, фьючерсы, что ещё?
  5. Обзор методов коллаборативной фильтрации, применяемых лучшими участниками конкурса Netflix.
    • Метод главных компонент, что ещё?
  6. Обзор методов, применяемых для поиска заимствований.
  7. Обзор методов, применяемых для оценивания сходства (релевантности) текстов.
Источник — «http://www.recognition.su/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Vokov/%D0%9D%D0%B5%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D0%B5_%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%29»
Личные инструменты