Методы автоматической обработки текстов (курс лекций, В.В.Китов)/2016

Материал из MachineLearning.

Версия от 09:27, 13 мая 2016; Victor Kitov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Содержание

1 Объявления
2 Описание
3 Оценивание
4 Задание
5 Туториалы
6 Материалы семинаров
7 Материалы
8 Питон и необходимые библиотеки
9 Дополнительные библиотеки
10 Интересные ссылки
11 Темы занятий

Объявления

19 мая будут презентации прикладных проектов по спецкурсу.

Формат презентации: 15 минут+5 минут ответы на вопросы.

Структура презентации:

постановка задачи, визуализация особенностей данных
baseline решение (наиболее простое и логичное, или которым все пользуются) - описание, точность
ваше решение - описание, точность
альтернативные решения, которые вы пробовали - описание, точность
пару слов: что еще можно можно было бы улучшить и попробовать

Описание

В спецкурсе "Методы автоматической обработки текстов" рассматриваются практические задачи работы с текстами используя язык программирования Python, математические библиотеки и библиотеки по работе с текстами NLTK, а также другие средства, нацеленные на работу с русским языком. Целью спецкурса является познакомить слушателей с основными задачами по работе с текстами и дать навыки практической работы.

Курс длится в течение весеннего семестра 2016 года. От студентов предполагается знание языка Python с научными библиотеками numpy, scipy, matplotlib, pandas, а также знакомство с основами статистики и основами машинного обучения.

Оценивание

Оценка за курс выставляется на основе выполнения практического проекта, реализующего согласованную с преподавателем задачу автоматической обработки текстов. Варианты задачи:

лингвистическое исследование различий диалекта языка для разного времени, разных авторов и разных источников информации
построение классификатора текстов по темам, авторам, жанрам и т.д.
эмоциональный анализ отзывов
извлечение тем из коллекции текстов
автоматическая суммаризация текстов
извлечение объектов определенного типа (персоны, географические названия и др.) из текста и определение отношений между ними

и другие темы, которые использовали бы методы, изучаемые на занятиях, и имеющие элементы научной новизны.

Задание

Если вы не определились и не согласовали ваш проект по анализу текстов, вам предлагается поучастовать в каждом из 2х kaggle соревнований:

1. Определение зарплаты по описанию вакансии в интернете

2. Определение страны происхождения рецепта

Даже если у вас есть собственный согласованный со мной проект, участие хотя бы в одном из этих соревнований все равно рекомендуется - это интересно, это расширит ваш кругозор и даст дополнительные бонусы при определении итоговой оценки за спецкурс.

Работа с текстом - рекомендации.

Классификация текстов - обзор.

Туториалы

Материалы семинаров

ipynb скрипты расположены здесь. Поскольку большинство примеров бралось из Natural Language Processing with Python. и scikit-learn documentation, то рекомендуется обращаться к этим источникам за деталями.