Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)/Вопросы 1 семестр

Материал из MachineLearning.

Версия 23:05, 9 декабря 2024

Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса
специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ

1. Модели обработки изображения с системах ИИ. Путь сигнала при обработке в системах ИИ. Первичная обработка изображения в сетчатке и зрительной коре головного мозга, структура глаза, спектральная чувствительность колбочек и палочек, их пространственная организация и функции, рецептивное поле. Выделение признаков на изображении зрительной системой: в сетчатке и в первичной зрительной коре, математические модели рецептивных полей обрабатывающих нейронов.
2. Первичная обработка изображений. Математическая модель и устройство видеокамеры. Изменения распределения сигнала при его преобразовании. Основные операции, производимые камерой. Типы сенсоров, получение цветных изображений.
3. Квантование аналогового видео сигнала сенсора в видеокамере, получение цифрового изображения. Математическая модель квантования значений непрерывной функции яркости, оптимальное квантование, квантователь Ллойда-Макса, равномерное и неравномерное квантование.
4. Дискретизация аналогового сигнала сенсора в видеокамере, получение цифрового изображения. Математическая модель дискретизации двумерного непрерывного поля яркости, спектр дискретного изображения, условия восстановления непрерывного изображения (теорема Котельникова).
5. Модели представления изображений. Функциональное, матричное, статистическое описание изображений, статистические модели изображения. Представление цветных изображений, основания трех-цветовой модели, основные цветовые модели (RGB,HSI,HSV,YUV).
6. Гистограмма яркости изображения. Статистические характеристики гистограмм, примеры гистограмм различных типов изображений, моды гистограмм. Изменение гистограммы при поэлементном преобразовании изображения. Адаптивная бинаризация изображения с использованием гистограммы.
7. Линейные операции с гистограммой яркости и нелинейные эффекты, насыщение. Адаптивные линейные преобразования яркости изображения с параметрами, вычисленными по гистограмме, нормализация яркости и контрастности.
8. Нелинейные операции с гистограммой яркости. Степенные, полиномиальные и кусочно-линейные преобразования яркости с параметрами, вычисленными по гистограмме. Адаптивная коррекция яркости и контрастности изображения.
9. Нелинейные операции с гистограммой яркости. Приведение гистограммы яркости к заданному распределению яркости, алгоритм построения такой функции преобразования с ограничениями на производную. Эквализация, эквализация бимодальной гистограммы. Коррекция искажений яркости на основе гистограммных преобразований.
10. Алгебраические преобразования изображения. Описание прозрачности областей с помощью маски. Усреднение изображений, дисперсия яркости в точках усредненного изображения с аддитивным нормальным шумом. Использование аддитивных моделей фона для контрастирования изображения, фильтрации шума, оценки изображения фона.
11. Модели систем обработки изображения. Характеристические функции системы: импульсная характеристика, переходная характеристика, передаточная функция.
12. Фильтрация. Интеграл суперпозиции системы, интеграл свертки, свертка в пространственной области, ядро свертки. Интегральное преобразование Фурье, спектральная теорема о свертке и ее применение.
13. Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
14. Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
15. Реконструкция изображения. Конструирование фильтра в частотной области.
16. Фильтрация. Конструирование элементарных фильтров: сглаживание, взвешенное сглаживание, повышение четкости изображения. Пространственные ядра элементарных фильтров и их амплитудно-частотная характеристика. Работа фильтров в пространственной и частотной области.
17. Понятие дискретной свертки. Линейная и циклическая свертка. Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение.
18. Понятие дискретной свертки. Линейная и циклическая свертка. Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости.
19. Понятие дискретной свертки. Линейная и циклическая свертка. Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
20. Дискретное преобразование Фурье (ДПФ), его свойства, требование периодичности сигнала. Дискретная свертка, условия периодического дополнения изображения для корректного использования свертки в частотной области. Теорема о корреляции, применение ДПФ для поиска паттерна.
21. Дискретное преобразование Фурье (ДПФ), его свойства, разделимость ядра, обратное преобразование, матричное представление. Быстрое преобразование Фурье (БПФ), схема реализации.
22. Уравнение Винера-Хопфа. Винеровский фильтр, вывод для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
23. Алгебраический подход к обработке изображений. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
24. Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
25. Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
26. Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
27. Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
28. Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
29. Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки c ядрами В-cплайнов. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.
30. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Сверточные ядра на основе В-cплайнов.
31. Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.
32. Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.
33. Понятие информативных элементов на основе Марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера.
34. Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.
35. Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.

См. также

• Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)
• Специализация «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ
• Кафедра «Интеллектуальные системы» ФУПМ МФТИ