Участник:Denis Kochedykov
Материал из MachineLearning.
(Различия между версиями)
(Новая: {| style="border:0px;" |- |Изображение:KochedykovFace.jpg |'''Кочедыков Денис Алексеевич''', Forecsys, ВЦ РАН(соиска...) |
|||
| Строка 14: | Строка 14: | ||
== Структура кандидатской диссертации == | == Структура кандидатской диссертации == | ||
# Введение | # Введение | ||
| - | # | + | ## Актуальность |
| - | # | + | ## Новизна: учет эффекта сходства и расслоения в оценках обобщающей способности в комбинаторном подходе |
| - | # | + | ## Апробация: ИОИ-2008, МФТИ-2007, МФТИ-2008, ММРО-2009(предстоит), семинары ВЦ РАН(предстоит) |
| - | # | + | ## Содержание работы по главам и личный вклад. |
# Обзорная часть | # Обзорная часть | ||
| - | # | + | ## Проблема обобщающей способности. Обзор современных результатов: Вапника, Лэнгфорда, МакАллистера, и т.д. |
| - | # | + | ## Слабая вероятностная аксиоматика |
| - | # | + | ## Постановка задачи диссертации ('''основная задача диссертации пока не до конца ясна''') |
| - | # Известные оценки переведенные в слабую аксиоматику | + | # Известные оценки переведенные в слабую аксиоматику (содержательная глава №1) |
| - | # | + | ## Вапник |
| - | # | + | ## Лэнгфорд |
| - | # | + | ## Силл |
| - | # Эффект сходства алгоритмов при оценивании вероятности переобучения | + | # Эффект сходства алгоритмов при оценивании вероятности переобучения (содержательная глава №2. основная.) |
| - | #* | + | #* Верхняя оценка вероятности возникновения переобучения в связном семействе при помощи неравенства типа Бонферрони |
| - | #* Точное значение вероятности переобучения | + | #* Точное значение вероятности возникновения переобучения в цепочке алгоритмов без расслоения |
| - | #* Точное значение вероятности пеореобучения метода | + | #* Точное значение вероятности пеореобучения метода МЭР на цепочке алгоритмов без расслоения |
| - | #* | + | #* Верхние оценки вероятности переобучения метода МЭР и вероятности возникновения переобучения для семейства, состоящего из множества цепочек без расслоения |
# Эксперименты | # Эксперименты | ||
#* Сравнение различных оценок | #* Сравнение различных оценок | ||
| + | |||
| + | === Состояние работы на текущий момент === | ||
| + | |||
| + | # В обзорной части | ||
| + | #* Частично есть описание постановки задачи. | ||
| + | #* Естественно, есть описание слабой вероятностной аксиоматики. | ||
| + | #* Отсутствует обзор современного состояния по теме. | ||
| + | |||
| + | # В главе про перевод известных оценок в комбинаторный вид | ||
| + | #* Естественно, есть стандартная оценка Вапника. | ||
| + | #* Из Лэнгфорда есть оценки Occam Razor, Shell, можно считать, что есть Microchoice, т.к. он переводится тривиально. | ||
| + | #* Можно считать, что есть оценка Силла для связных семейств - разобрался, как она устроена, теперь легко можно ее записать в слабой аксиоматике. | ||
| + | #* Других оценок нет. '''Нужен ли здесь перевод еще каких то известных оценок в слабую аксиоматику?''' | ||
| + | |||
| + | # В главе про эффект сходства | ||
| + | #* Есть верхняя оценка вероятности возникновения переобучения в связном семействе неравенством Бонферрони. | ||
| + | #* Остального еще нет. | ||
| + | |||
| + | === Ближайший план работы === | ||
| + | |||
| + | # Получить вероятность переобучения метода МЭР для худшего случая цепочки без расслоения. Это будет оценка с одновременным учетом и метода обучения и структуры сходства семейства. | ||
| + | # Получить вероятность возникновения переобучения в цепочке без расслоения. Это будет полный учет структуры сходства семейства, без учета метода обучения. | ||
| + | # Сравнить эти две последние оценки и оценку union bound(Вапник) - какой эффект дают учет структуры сходства и метода обучения. | ||
| + | # Обычным union bound'ом получить для каждой из последних двух оценок оценку для семейства состоящего из цепочек без расслоения (здесь пока не совсем понятно - ведь слои в реальных семействах не обязательно представляют из себя цепочки). Для union bound'а нужно знать профиль - число алгоритмов в каждом слое. Его можно оценить по наблюдаемому профилю семейства так, как это делается в observable shell Лэнгфорда. | ||
[[Участник:Denis Kochedykov|kochede]] 13:41, 8 мая 2009 (MSD) | [[Участник:Denis Kochedykov|kochede]] 13:41, 8 мая 2009 (MSD) | ||
Версия 11:18, 8 мая 2009
| Кочедыков Денис Алексеевич, Forecsys, ВЦ РАН(соискатель).
Научный руководитель Воронцов К.В..
|
Структура кандидатской диссертации
- Введение
- Актуальность
- Новизна: учет эффекта сходства и расслоения в оценках обобщающей способности в комбинаторном подходе
- Апробация: ИОИ-2008, МФТИ-2007, МФТИ-2008, ММРО-2009(предстоит), семинары ВЦ РАН(предстоит)
- Содержание работы по главам и личный вклад.
- Обзорная часть
- Проблема обобщающей способности. Обзор современных результатов: Вапника, Лэнгфорда, МакАллистера, и т.д.
- Слабая вероятностная аксиоматика
- Постановка задачи диссертации (основная задача диссертации пока не до конца ясна)
- Известные оценки переведенные в слабую аксиоматику (содержательная глава №1)
- Вапник
- Лэнгфорд
- Силл
- Эффект сходства алгоритмов при оценивании вероятности переобучения (содержательная глава №2. основная.)
- Верхняя оценка вероятности возникновения переобучения в связном семействе при помощи неравенства типа Бонферрони
- Точное значение вероятности возникновения переобучения в цепочке алгоритмов без расслоения
- Точное значение вероятности пеореобучения метода МЭР на цепочке алгоритмов без расслоения
- Верхние оценки вероятности переобучения метода МЭР и вероятности возникновения переобучения для семейства, состоящего из множества цепочек без расслоения
- Эксперименты
- Сравнение различных оценок
Состояние работы на текущий момент
- В обзорной части
- Частично есть описание постановки задачи.
- Естественно, есть описание слабой вероятностной аксиоматики.
- Отсутствует обзор современного состояния по теме.
- В главе про перевод известных оценок в комбинаторный вид
- Естественно, есть стандартная оценка Вапника.
- Из Лэнгфорда есть оценки Occam Razor, Shell, можно считать, что есть Microchoice, т.к. он переводится тривиально.
- Можно считать, что есть оценка Силла для связных семейств - разобрался, как она устроена, теперь легко можно ее записать в слабой аксиоматике.
- Других оценок нет. Нужен ли здесь перевод еще каких то известных оценок в слабую аксиоматику?
- В главе про эффект сходства
- Есть верхняя оценка вероятности возникновения переобучения в связном семействе неравенством Бонферрони.
- Остального еще нет.
Ближайший план работы
- Получить вероятность переобучения метода МЭР для худшего случая цепочки без расслоения. Это будет оценка с одновременным учетом и метода обучения и структуры сходства семейства.
- Получить вероятность возникновения переобучения в цепочке без расслоения. Это будет полный учет структуры сходства семейства, без учета метода обучения.
- Сравнить эти две последние оценки и оценку union bound(Вапник) - какой эффект дают учет структуры сходства и метода обучения.
- Обычным union bound'ом получить для каждой из последних двух оценок оценку для семейства состоящего из цепочек без расслоения (здесь пока не совсем понятно - ведь слои в реальных семействах не обязательно представляют из себя цепочки). Для union bound'а нужно знать профиль - число алгоритмов в каждом слое. Его можно оценить по наблюдаемому профилю семейства так, как это делается в observable shell Лэнгфорда.
kochede 13:41, 8 мая 2009 (MSD)
