Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)/Вопросы 1 семестр
Материал из MachineLearning.
(Различия между версиями)
												
			
			м  (/* Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса  специализации «Проектирование и организация систе)  | 
				м  (/* Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса  специализации «Проектирование и организация систе)  | 
			||
| Строка 1: | Строка 1: | ||
====Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса <br \> [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|специализации «Проектирование и организация систем»]] [[Интеллектуальные системы (кафедра МФТИ)|кафедры «Интеллектуальные системы»]] [[ФУПМ]] [[МФТИ]]====  | ====Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса <br \> [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|специализации «Проектирование и организация систем»]] [[Интеллектуальные системы (кафедра МФТИ)|кафедры «Интеллектуальные системы»]] [[ФУПМ]] [[МФТИ]]====  | ||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
| - | |||
# Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.  | # Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.  | ||
# Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).  | # Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).  | ||
# Реконструкция изображения. Конструирование фильтра в частотной области.  | # Реконструкция изображения. Конструирование фильтра в частотной области.  | ||
| - | #   | + | # Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.  | 
| - | + | # Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.  | |
| - | + | # Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.  | |
| - | + | # Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, матрица Теплица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.   | |
| - | + | ||
| - | + | ||
| - | + | ||
| - | # Алгебраический подход к обработке изображений. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.   | + | |
# Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.  | # Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.  | ||
# Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.  | # Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.  | ||
| Строка 29: | Строка 13: | ||
# Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.  | # Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.  | ||
# Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.  | # Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.  | ||
| - | # Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки   | + | # Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.  | 
| - | + | ||
# Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.  | # Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.  | ||
# Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.  | # Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.  | ||
| - | # Понятие информативных элементов на основе   | + | # Понятие информативных элементов на основе марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера.  | 
# Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.   | # Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.   | ||
# Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.  | # Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.  | ||
| + | # Локально-стационарный анализ изображения, проблема локализации сигнала для оптимальной фильтрации. Интегральное оконное преобразование Фурье (ОПФ). Функция окна, ее локализация в пространственной и временной областях. Кратковременное Преобразование Фурье. Выбор оптимальной функция окна на основе принципа неопределенности.  | ||
| + | # Оконное преобразование Фурье. Прямое и обратное преобразование Габора, его пространственно-частотные свойства. Примеры использования преобразования Габора в прикладных системах.  | ||
| + | # Проблема одновременной локализации масштаба и положения сигнала. Интегральное вейвлет-преобразование (ИВП), базисная фейвлет-функция, условие допустимости базисного вейвлета, локализация вейвлет-функции в пространственной и частотной областях. Примеры базисных вейвлетов.  | ||
| + | # Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для восстановления функции по множеству базисных вейвлетов, фреймы. Разложение функции по биортогональной системе базисных вейвлетов. Примеры базисных фейвлетов: вейвлет Морле, производные функции Гаусса, DOG, вейвлеты Хаара.  | ||
| + | # Кратномасштабный анализ. Гауссовская и лапласовская пирамида. Вложенность масштабирующих подпространств, масштабирующая и вейвлетные функции. Кратномасштабный анализ на примере вейвлетов Хаара.  | ||
| + | # Теория согласованной фильтрации для обнаружения сигналов/объектов на изображении на основе сопоставления с эталоном. Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Пространство признаков для марковской модели. Теорема о корреляции, применение ДПФ для поиска паттерна.  | ||
| + | # Дескрипторы изображения для задач анализа изображения в пространстве признаков. Выделение контура, краев: операторы Прюитта, Собеля, Кэнни. Параметризация прямых на основе преобразования Хафа. Дескрипторы HOG, LBP. Обобщение дескриптора HOG на основе преобразования Хафа. Многомасштабные дескрипторы Габора. Привязка изображений по дескрипторам.  | ||
| + | # Метрика расстояния в признаковом пространстве для привязки объектов. Оценка движения объекта и слежение по измерениям признаков. Фильтр Калмана.  | ||
| + | # Оптические потоки. Алгоритмы Лукаса-Канаде, Хорна-Шунка.   | ||
| + | # Основы нейросетевого распознавания изображений. Обзор основных архитектур нейросетевых моделей: сверточная ResNet модель для классификации и регрессии, AE и VAE для реконструкции и импаинтинга, UNET для сегментации, R-CNN и Yola для детекции, ViT модели на основе трансформера, RAFT для оптических потоков.  | ||
| + | # Основы генеративных и многомодальных нейросетевых моделей для генерации изображений: GAN и StyleGAN для генерации, нормализующие потоки и латентные диффузионные модели для генерации с обуславливанием.  | ||
<!--  | <!--  | ||
Версия 22:41, 14 мая 2025
 Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса 
 специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ
- Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
 - Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
 - Реконструкция изображения. Конструирование фильтра в частотной области.
 - Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.
 - Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
 - Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
 - Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, матрица Теплица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
 - Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
 - Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
 - Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
 - Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
 - Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
 - Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.
 - Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.
 - Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.
 - Понятие информативных элементов на основе марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера.
 - Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.
 - Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.
 - Локально-стационарный анализ изображения, проблема локализации сигнала для оптимальной фильтрации. Интегральное оконное преобразование Фурье (ОПФ). Функция окна, ее локализация в пространственной и временной областях. Кратковременное Преобразование Фурье. Выбор оптимальной функция окна на основе принципа неопределенности.
 - Оконное преобразование Фурье. Прямое и обратное преобразование Габора, его пространственно-частотные свойства. Примеры использования преобразования Габора в прикладных системах.
 - Проблема одновременной локализации масштаба и положения сигнала. Интегральное вейвлет-преобразование (ИВП), базисная фейвлет-функция, условие допустимости базисного вейвлета, локализация вейвлет-функции в пространственной и частотной областях. Примеры базисных вейвлетов.
 - Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для восстановления функции по множеству базисных вейвлетов, фреймы. Разложение функции по биортогональной системе базисных вейвлетов. Примеры базисных фейвлетов: вейвлет Морле, производные функции Гаусса, DOG, вейвлеты Хаара.
 - Кратномасштабный анализ. Гауссовская и лапласовская пирамида. Вложенность масштабирующих подпространств, масштабирующая и вейвлетные функции. Кратномасштабный анализ на примере вейвлетов Хаара.
 - Теория согласованной фильтрации для обнаружения сигналов/объектов на изображении на основе сопоставления с эталоном. Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Пространство признаков для марковской модели. Теорема о корреляции, применение ДПФ для поиска паттерна.
 - Дескрипторы изображения для задач анализа изображения в пространстве признаков. Выделение контура, краев: операторы Прюитта, Собеля, Кэнни. Параметризация прямых на основе преобразования Хафа. Дескрипторы HOG, LBP. Обобщение дескриптора HOG на основе преобразования Хафа. Многомасштабные дескрипторы Габора. Привязка изображений по дескрипторам.
 - Метрика расстояния в признаковом пространстве для привязки объектов. Оценка движения объекта и слежение по измерениям признаков. Фильтр Калмана.
 - Оптические потоки. Алгоритмы Лукаса-Канаде, Хорна-Шунка.
 - Основы нейросетевого распознавания изображений. Обзор основных архитектур нейросетевых моделей: сверточная ResNet модель для классификации и регрессии, AE и VAE для реконструкции и импаинтинга, UNET для сегментации, R-CNN и Yola для детекции, ViT модели на основе трансформера, RAFT для оптических потоков.
 - Основы генеративных и многомодальных нейросетевых моделей для генерации изображений: GAN и StyleGAN для генерации, нормализующие потоки и латентные диффузионные модели для генерации с обуславливанием.
 
 См. также 

