лекция. Lektsii_ПКТ. Конспект лекций по дисциплине прикладные компьютерные технологии Направление подготовки 09. 03. 01 Информатика и вычислительная техника
 Скачать 7.93 Mb.
|
|
Основные подходы к решению задач СV Контурный анализ. Контур объекта – это кривая, соответствующая границе объекта на изображении. В этом методе анализируется не полное изображение объекта, а только его контур, что существенно снижает сложность алгоритмов и вычислений при обработке. Ограничения метода контурного анализа: при одинаковой яркости с фоном объект может не иметь чёткой границы на изображении или оно может быть «зашумлено» помехами, что приводит к невозможности выделения контура; перекрытие объектов или их группировка приводят к тому, что контур выделяется неправильно и не соответствует границе объекта; слабая устойчивость к помехам, приводящая к тому, что любое нарушение целостности контура или плохая видимость объекта приводят либо к невозможности детектирования, либо к ложным срабатываниям. Поискпошаблону (template matching). Самый распространённый метод распознавания объектов в CV, чтобы определить, есть ли заданный объект на изображении, и, если есть, где он находится на изображении. Приложения метода: распознавание транспортных средств, прокладка маршрутов для мобильных роботов, производство и приложения в медицине, и др. Основные виды поска по шаблону: Простое соответствие – один из основных методов нахождения нужного объекта на изображении при поиске по шаблону. Метод заключается в пошаговом сканировании шаблоном исходного изображения, при каждом шаге которого измеряется или рассчитывается степень соответствия участка изображения шаблону. В конце сканирования на изображении выделяется область, наиболее соответствующая шаблону. Соответствие на базе характерных черт, «фич» (Feature-based matching). Метод соответствия по характерным чертам, ХЧ, применим, когда как изображение, так и шаблон содержат больше соответствий по ХЧ и контрольным точкам, чем по цельному образу. В этом случае, ХЧ могут включать точки, кривые или модели поверхности, которые проверяются на соответствие шаблону. Цель такой проверки – найти парные связи между целью (т.н. «референсом») и частью изображения с использованием пространственных соотношений или ХЧ. Соответствие на базе областей (Area-based matching). Методы нахождения соответствия на базе областей (Area-based), которые также называются корреляционными методами, основаны на комбинированном алгоритме нахождения характерных черт, ХЧ (feature detection), и соответствия шаблону (template matching). Такой метод хорошо работает, если шаблоны не имеют заметных общих ХЧ с изображением, поскольку сравнение происходит на пиксельном уровне. Соответствия измеряются по показателям интенсивности шаблона и изображения. В некоторых случаях нахождение прямого соответствия между шаблоном и изображением невозможно (см. рисунок ниже). Поэтому, при нахождении соответствия используются собственное значение (eigenvalue) и собственное пространство (eigenspace). Эти величины содержат информацию, необходимую для сравнения образов при разных условиях освещённости, контрастности контуров или совпадения по положению объектов.  Применение метода Area-based в геодезии Корреляцияизображений (Image Correlation Matching). В этом методе измеряются метрики подобия (similarity metric) между исходным изображением и шаблоном. В отличие от метода простого соответствия, исходное изображение и шаблон могут иметь различные интенсивности изображения или уровни шума. В этом случае сравнение производится по метрике подобия на основе корреляций между шаблоном и оригиналом. Нейросети. Нейросети состоят из слоёв, т.н. «нейронов», которые представляют собой вычислительные узлы, имитирующие работу нейронных клеток живого организма. Эти сети могут передавать информацию только в одном направлении и могут обучаться на примерах (для классификации объектов или регрессивного анализа). Глубокое обучение в системах CV. Может быть полезно в задачах, когда базовый элемент (отдельный пиксель изображения, одна частота сигнала, одно слово или буква) не несет большого смыслового значения, однако, комбинация таких элементов имеет полезное значение. Системы глубокого обучения могут извлекать такие полезные комбинации без вмешательства человека (Unsupervised Feature Learning). Глубокие нейросети (deep neural network), с более чем 1-2 слоями, ранее казалась либо нереализуемыми, либо непрактичными в использовании. До 2006 года, внешние слои нейросети были неспособны к извлечению ХЧ (features) входных изображений, поскольку алгоритмы обучения нейросетей оставались несовершенными.  На рисунке показан пример системы CV с машинным обучением на примере задачи сегментирования сцены по трём типам: «горизонтальный», «вертикальный» и «небо». Пиксельные данные от исходного изображения с коррекцией цвета поступают на нейросеть глубокого обучения, где производится предварительная обработка изображения и распознаётся, к какому типу рельефа принадлежит каждый пиксель с известной степенью вероятности. К  алибровка камер по шаблону. Можно разделить на 2 вида: фотограмметрическая калибровка (по шаблону) и калибровка по сцене. Калибровка камер по шаблону обычно производится наблюдением за калибровочным объектом (шаблоном), геометрия которого в пространстве известна с большей точностью. Калибровочный объект обычно состоит из 2 или 3 плоскостей, расположенных под различными углами друг другу. Эти подходы нуждаются в дорогих калибровочных аппаратах и их тщательной установке. Калибровка камер по сцене не использует калибровочные объекты, а осуществляется лишь движением камеры в статической сцене. Если изображения будут браться от тех же самых камер с фиксированными внутренними параметрами, соответствия между тремя картинками будет достаточно для получения и внутренних, и внешних параметров, которые позволят реконструировать объёмную структуру объекта.Поиск вне шаблонов, сопоставление по ключевым точкам (feature detection, description matching). Наборы ХЧ для обработки изображений в компьютерном зрении могут, например, представлять собой элементы изображения, такие как точки, края, линии или границы объектов. Другие примеры ХЧ относятся к движению в последовательности изображений, к формам, представленным в виде кривых между областями изображения, или к свойствам этих областей. Д  етектирование и распознавание объектов – это нахождение экземпляров объектов на изображении. При распознавании объектов не только устанавливается факт наличия объекта на изображении, но также и определяется его расположение на изображении. На рисунке показаны примеры детектирования (слева) и распознавания объектов (справа). Детектирование объектов предусматривает сопоставление двух и более изображений при поиске изображений уникальных объектов, например, архитектурных сооружений, скульптур, картин и т.д., обнаружение на изображениях классов объектов разной степени общности (автомобилей, животных, мебели, лиц людей и т. д., а также их подклассов), категоризация сцен (город, лес, горы, побережье и т.д.). Приложения для детектирования объектов также весьма разнообразны: сортировка изображений в домашних цифровых фотоальбомах, поиск товаров по их изображениям в интернет-магазинах, извлечение изображений в геоинформационных системах, биометрическая идентификация личности, целевой поиск изображений в социальных сетях и многое другое. Распознавание такого разнообразия объектов и приложений обуславливает необходимость использования методов машинного и глубокого обучения.Фотограмметрия – это процесс создания 3D-моделей из нескольких изображений одного объекта, сфотографированного с разных углов. Этот метод давно использовался в картографии и геодезии и стал более популярным благодаря доступности из-за увеличения мощности компьютеров. Это позволило использовать фотограмметрию в других областях: создание геоинформационных систем (ГИС); охрана окружающей среды (изучение ледников и снежного покрова, бонитировка почв и исследование процессов эрозии, наблюдение за изменениями растительного покрова, изучение морских течений); проектирование и строительство зданий и сооружений; киноиндустрия (совмещение игры живых актёров с компьютерной анимацией); автоматизированное построение пространственных моделей объекта по снимкам; компьютерные игры (создание трёхмерных моделей игровых объектов, создание реалистичных ландшафтов местности и пр.). Обнаружение препятствий используется, например, в системах помощи водителю ADAS (Adnvanced Driver Assistance System), в системах управления беспилотными ЛА и пр. В число алгоритмов ADAS входят следующие: Контроль полосы движения, Обнаружение объектов на пути движения и по сторонам, Распознавание дорожных объектов, Адаптивный круиз контроль, Круговой обзор. SLAM (Simultaneous Localization And Mapping) — метод одновременной локализации объектов и построения карты в неизвестном пространстве или для обновления карты в заранее известном пространстве с одновременным контролем текущего местоположения и пройденного пути. Он применяется в автономных транспортных средствах для их ориентации в пространстве. Этот метод используется для пространственной реконструкции (Stereo-SLAM) во время движения транспортных средств для создания объёмных карт объектов по снимкам с одной или нескольких CV-камер.  Дефектоскопия. Системы CV с распознаванием вне шаблонов часто используются для нахождения различных дефектов в материалах и изделиях. Кроме терминов «детектирование» (detection) и «распознавание» (recognition) в технологиях компьютерного зрения используются также термины «классификация» (classification) и «локализация» (localization), а также «сегментация» (segmentation) объектов. Распознавание объектов и локализация в заранее снятой сцене Классификация объекта – распознавание на изображении одной категории объекта, обычно, самой заметной. Такой вид распознавания чаще всего используется в смартфонах, оснащённых «искусственным интеллектом». Локализация объекта – объект не только распознаётся, но и локализуется на исходном изображении. Детектирование объекта – на изображении могут быть объекты разных классов, которые распознаются и локализуются на исходном изображении. Сегментация объектов – для каждого объекта не только распознаётся его класс и его местоположение, но также выделяются границы объекта на изображении. Локализация наблюдателя и контроль измерений. Алгоритмы локализации позволяют определить позицию камеры относительно сцены (локализация) и обнаруживать отличия в сцене в исторической перспективе (присутствие новых объектов в сцене и изменение охвата сцены) на уровне облака точек. В процессе локализации выполняются следующие задачи: Локализация в последовательности изображений: найти положение нового изображения в ранее снятой последовательности изображений; Л  окализация в облаках точек (3D-модели): нахождение положение нового изображения в существующем облаке точек с существующими изображениями, источниками для данного облака точек; найти положение нового изображения с текстурированной облаком точек, с дополнительными данными от GPS (data fusion); нахождение положения нового облака точек в существующем облаке через исходные изображения; Обнаружение изменений на изображениях и на облаках точек. Коррекция цвета и экспозиции. Распознавание цвета в системах CV для некоторых задач помогает определить свойства материалов: из чего сделан тот или иной объект и в каком он находится состоянии? Например, на чёрно-белом фото невозможно определить, какие ягоды спелые. На цветном фото это можно определить. Цветовое CV может гораздо точнее определить оттенок цвета, что часто требуется в различных отраслях, например, при ремонте автомобилей, в медицине и пр. Совмещение данных (Data Fusion). Data Fusion – совмещение данных от различных источников с изображениями с камер CV с целью получения более точной и полезной информации. В CV можно столкнуться со следующими проблемами: Различные ХЧ можно выделить из одного и того же изображения; Различные экземпляры одного типа объектов (например, «люди», «машины») могут выглядеть очень по-разному; Различные экземпляры одного класса объектов могут «вести себя» по-разному, по крайней мере, временами; Один и тот же объект с различных точек наблюдения (т.е. с разных камер) может выглядеть по-разному; Различные комбинации всего вышеперечисленного. С  овмещённый анализ данных с системы CV и комплекса датчиков помогает значительно повысить ценность информации, получаемой от системы CV и значительно улучшить работу приложения, её использующего. Например, системы ADAS кроме камер CV, могут оснащаться множеством различных датчиков: LIDAR, Radar, одометр, ультразвуковые датчики (см. рисунок справа). Комплексный анализ данных (Fusion Algorithm) со всех датчиков и дополнительных сенсоров (Supplementary Sensor) и системы CV (Vision System) позволит сделать однозначный вывод: «По ходу движения автомобиля в 11,6 м идёт пешеход».Компьютерное зрение не ограничивается только этими основными методами, например, можно выделить так называемые генетические алгоритмы, применяемые, в частности, для распознавания лиц. Будущее компьютерного зрения CV – быстро растущая область цифровых технологий, которая затрагивает многие стороны повседневной жизни. Компания Apple внедрила функцию распознавания лиц в новые модели iPhone, приобретя такие компании, как PrimeSense, RealFace и Faceshift. Американский портал AngelList, объединяющий стартапы и инвесторов, составил список из 529 новых компаний, которые работают в области компьютерного зрения. Средняя капитализация таких стартапов составляет 5,2 млн. долл. Много стартапов привлекают капитал от 5 до 10 млн. долл. Портал отмечает, что поток инвестиций в компьютерное зрения нарастает. Замена человеческого зрения на компьютерное во многих областях – очень выгодное вложение капитала. Точность анализа видеоинформации компьютером всё время растёт и применение CV может дать большую экономию средств наряду с улучшением качества. Можно выделить пять основных тенденций развития CV: Рост промышленных систем компьютерного зрения. CV для медицинских устройств, фармацевтики, производства пищевых продуктов, автомобильной промышленности предоставляет более высокий уровень контроля качества, а CV для промышленности, как ожидается, в 2019 году станет основным трендом в области компьютерного зрения. Облачные системы глубокого обучения. Алгоритмы глубокого обучения и классификаторы нейросетей позволят более быстро и точно проводить классификацию и распознавание изображений от систем CV. В ближайшие годы число таких разработок значительно возрастёт. Робототехника. Использование промышленных роботов стремительно увеличивается. Поэтому спрос на системы CV для роботов будет расти. Рост требований к параметрам оптики для CV, который вызван ростом требований к чёткости и разрешающей способности изображений CV. Разрабатываются и производятся сенсоры для CV-камер с большей разрешающей способностью и с большим количеством пикселей, однако, без качественной оптики эти усовершенствования будут малополезны. Поэтому разрабатываются такие инновационные решения, как микролинзы на каждый пиксель и др., которые кардинально могут повысить параметры работы оптических систем, которые уже подошли к своим технологическим пределам в традиционных решениях. И  спользование термальных изображений при контроле производственных процессов. Обычно термальные камеры использовались в основном для военных целей, в охранном видеонаблюдении. Термальные изображение в комбинации с CV могут обнаруживать такие аномалии в производственном процессе, которые не видны глазу или традиционным системам CV.Искусственный интеллект общего применения (AGI – Artificial General Intelligence) Термин (AGI) Artificial General Intelligence, появившийся относительно недавно, означает способность компьютера совершать абстрагированные умозаключения или, по крайней мере, имитировать этот процесс, тем самым приближая его к мышлению человека. Однако AGI пока находится на самой ранней стадии развития. Абстрактное мышление остаётся пока неразрешимой проблемой для искусственного интеллекта. Именно по этой причине технологии AGI находятся на кривой Гартнера в самом начале подъёма «триггера инноваций». CV является одной из важных составляющих технологий для искусственного интеллекта AI. |