Распознавание объектов в видеопотоке. видеопоток. Метод и алгоритмы поиска объекта в видеопотоке
 Скачать 3.84 Mb.
|
|
1.6 Проблемы обнаружения и слежения за объектом в видеопотоке Можно выделить основные проблемы процесса обнаружения и слежения за объектом в видеопотоке: 1. Изменение яркости. Яркость изображения может меняться в пространстве и в течение времени: некоторые части объекта могут быть ярче других; яркие объекты на текущем изображении могут стать тёмными на следующем. 2. Масштабируемость объекта. Объект может приближаться и отдаляться от камеры. 3. Повороты объекта. Объект может относительно камеры поворачиваться по всем трём осям трёхмерного пространства. 4. Заслонение объекта. Искомый объект может перекрываться другими объектами. 5. Шум на изображении. Шум на изображении может возникнуть по разным причинам: естественным и искусственно созданным. К естественным можно отнести некорректную работу фото (видео) камеры и все природные условия, при которых происходит получение изображения (видео): снегопад, дождь… К искусственно созданным причинам можно отнести все те действия человека, которые направлены на изменение качества изображения: перекодирования 42 изображения в другое цветовое пространство; сжатия изображения с потерями качества, размытие изображения и т. д. 6. Изменение геометрической формы объекта. Наблюдаемый объект может деформироваться, повернуться к камере той частью, которая по своей форме является отличительной от формы, наблюдаемой прежде. Объект может состоять из мелких, связанных объектов, которые могут перемещаться в пространстве по разным траекториям. Например, искомый объект – человек, у которого руки могут двигаться в разные стороны. 7. Изменение цветовой гистограммы объекта. Объект может иметь на разных сторонах своего тела разные цветовые гистограммы [45]. Масштабируемость и повороты относятся к аффинным преобразованиям [46]. Согласно [47] проективные преобразования включают в себя аффинные преобразования и учитывают искажения, связанные с наклоном камеры. 1.7 Сравнение алгоритмов и методов выделения объекта в видеопотоке Рассмотренные методы можно склассифицировать на четыре группы: детерминированные, вероятностные, нейросетевые и комбинированные методы (см. рисунок 1.13). 43 Рисунок 1.13 – Классификация методов выделения объекта в видеопотоке Согласно постановленной цели и описанным проблемам обнаружения и слежения за объектом в видеопотоке, можно выделить основные критерии для сравнения: устойчивость к изменению яркости; устойчивость к аффинным преобразованиям. устойчивость к заслонению объекта другими объектами; устойчивость к шуму на изображении; обучаемость к новой геометрической форме объекта; обучаемость к изменению цветовой гистограммы объекта. Имеется ещё немало важный критерий сравнения алгоритмов и методов поиска объекта – быстродействие. В таблице 1.2 приведены сравнительные характеристики рассмотренных методов и алгоритмов поиска объекта в видеопотоке, где Y – устойчивость к изменению яркости, Sc – устойчивость к масштабированию, Rot – устойчивость к поворотам, Ovl – устойчивость к заслонению другими объектами, Ns – шумоустойчивость, Frm – устойчивость к изменению геометрической формы, G – Методы выделения объекта Детерминированные Вероятностные Нейросетевые Комбинированные Методы, основанные на классической нейронной сети Методы, основанные на разреженной нейронной сети Методы поиска оптического потока Методы поиска особенных точек Методы поиска по шаблону Методы с предварительным обучением Методы с динамическим обучением Методы с конечным набором состояний Методы со случайным состоянием 44 устойчивость к изменению цветовой гистограммы, Ol – сложность этапа обучения (если этап присутствует), Of – сложность этапа обнаружения, n – количество точек на изображении, на котором осуществляется поиск, w – размер окна функции Гаусса, s – количество октав, x – количество точек в окрестности для вычисления ориентации, k – количество проективно искажённых изображений. В таблице 1.2 не приведены методы поиска по шаблону, т. к. эти методы не осуществляют поиск определённого объекта, а только заточены под поиск определённых примитивов, поэтому в сравнении с другими методами методы поиска по шаблону не участвуют. Таким образом, все рассмотренные методы в некоторых пределах устойчивы к шуму на изображении и к перекрытию объекта другими объектами. Из детерминированных методов самый устойчивый метод к рассмотренным критериям является метод ASIFT, однако он имеет большую вычислительную сложность. Из детерминированных методов стоит отметить методы SURF, Харриса Лапласа, учитывающий масштабирование изображения объекта, применённый совместно с дескриптором освещённости, имеют меньшую вычислительную сложность, чем метод ASIFT, однако они не являются полностью устойчивыми к аффинным преобразованиям. Вероятностные методы необходимо применять в случаях, когда необходимо добиться устойчивости по какому-то одному критерию. Можно применить несколько фильтров, устойчивых к изменению разных свойств объекта, но тогда и сложность этапа обнаружения геометрически возрастает. Методы, которые устойчивы к наиболее большему числу рассмотренных критериев, являются нейросетевые и комбинированные методы, но методы, основанные на классических и разреженных нейронных сетях, и метод Виолы–Джонса имеют длительный процесс обучения, гораздо сложнее этапа обнаружения [48]. 45 Таблица 1.2 – Сравнение методов и алгоритмов поиска объекта в видеопотоке (+ – проблема решается полностью, +/– – проблема решается частично, – – проблема не решается) Метод / алгоритм поиска Критерии сравнения Y Sc Rot Ovl Ns Frm G Ol Of Метод Лукаса–Канаде (классический) – – +/– +/– +/– – – 0 n Ши–Томаси–Канаде – + + +/– +/– – – 0 n Джин–Фаваро–Соатто + – +/– +/– +/– – +/– 0 n Метод Харриса– Лапласа (классический) Масштабирующий дескриптор – + – +/– +/– +/– – 0 n 2 Дескриптор поворота – – +/– +/– +/– +/– – 0 n 2 Дескриптор освещённости + – – +/– +/– +/– – 0 n 2 Метод Харриса– Лапласа, учитывающий масштабирование объекта Масштабирующий дескриптор – + – +/– +/– +/– – 0 n 2 Дескриптор поворота – + +/– +/– +/– +/– – 0 n 2 Дескриптор освещённости + + – +/– +/– +/– – 0 n 2 46 Продолжение таблицы 1.2 Метод / алгоритм поиска Критерии сравнения Y Sc Rot Ovl Ns Frm G Ol Of SIFT +/– + +/– +/– +/– +/– – 0 (sw 2 +x 2 ) n SURF +/– + +/– +/– +/– +/– – 0 sn ASIFT +/– + + +/– +/– +/– – 0 k(sw 2 +x 2 )n Фильтр Калмана Учитывающий изменения яркости + – – +/– +/– – – 0 n 2 Учитывающий изменения цветности – – – +/– +/– – + 0 n 2 Учитывающий изменение масштаба – + – +/– +/– +/– – 0 n 2 Учитывающий повороты объекта – – +/– +/– +/– +/– – 0 n 2 Фильтр частиц Учитывающий изменения яркости + – – +/– +/– – – 0 n 2 Учитывающий изменения цветности – – – +/– +/– – + 0 n 2 Учитывающий изменение масштаба – + – +/– +/– +/– – 0 n 2 Учитывающий повороты объекта – – +/– +/– +/– +/– – 0 n 2 47 Продолжение таблицы 1.2 Метод / алгоритм поиска Критерии сравнения Y Sc Rot Ovl Ns Frm G Ol Of Методы, основанные на классических нейронных сетях +/– +/– +/– +/– +/– – +/– n 3 ÷n 5 n 2 Методы, основанные на разреженных нейронных сетях +/– +/– +/– +/– +/– – +/– n 3 ÷n 5 nlog(n) Метод Виолы–Джонса +/– + +/– +/– +/– +/– + n 5 ÷n 7 n TLD +/– + +/– +/– +/– +/– +/– 0 n 2 48 1.8 Выводы На основании проведённого аналитического обзора можно сделать следующие выводы: 1. В настоящее время не реализованы помехоустойчивые, пригодные для практического использования алгоритмы (и методы) поиска объекта в видеопотоке. 2. Методы, основанные на поиске ключевых точек объекта, более всего удовлетворяют требованиям практики. Алгоритмы, построенные на базе этих методов, инвариантны к проективным преобразованиям, устойчивы к шуму, изменению яркости и характеризуются меньшими вычислительными затратами по сравнению с альтернативными. 3. Анализ условий использования методов поиска объекта показывает, что эти методы должны удовлетворять следующим требованиям: инвариантность к проективным преобразованиям изображения объекта; вычислительная сложность должна быть минимально достижимой для применения решения задач в режиме реального времени. 49 2 Метод и алгоритм поиска объекта в видеопотоке 2.1 Определение требований На основании сформулированной цели и проведённого аналитического обзора можно определить требования к разрабатываемой системе поиска объекта в видеопотоке. Эти требования можно разделить на две группы: основные (функциональные) и дополнительные (структурные). К основным можно отнести требования, предъявляемые к технологии поиска и алгоритмам системы, а к дополнительным – требования, предъявляемые к структуре системы. Основные требования к системе поиска объекта в видеопотоке формулируются на основании результатов аналитического обзора и потребностей практического использования: 1. Алгоритм системы должен быть основан на поиске ключевых точек объекта. 2. Вычислительная сложность метода поиска должна быть минимально достижимой для применения в решении задач реального времени. 3. Алгоритм работы системы не должен содержать шаг предварительного обучения. 4. Система должна позволять управлять способом обработки результата: сохранять результат в виде текстовой информации, в виде набора изображений с выделенным найденным объектом, либо выводить на экран набор кадров с выделенными объектами. Исходя из требований скорости обработки видеопотока и простоты реализации, структурные требования могут быть сведены к следующему: модель структуры системы должна быть с минимальным количеством статических связей. Из этого следует, что желаемая структура системы должна быть статической и сетевой. 50 2.2 Функциональная модель Согласно сформулированным требованиям алгоритм системы должен быть основан на поиске ключевых точек. Из проведённого обзора технической литературы следует, что методы поиска ключевых точек имеют следующие особенности, которые необходимо учитывать при использовании: 1. Ключевая точка может не являться частью изображения только одного объекта, она может встречаться и на изображениях других объектов, так как ключевая точка является локальным участком на изображении сравнительно небольшого размера и на изображении может иметь «схожие» дубликаты за счёт малой информативности. 2. Ключевые точки могут находиться не на всей области изображения объекта, а только в некоторых областях (см. рисунок 2.1 [49]), т. е. по найденным ключевым точкам нельзя судить о местонахождении всего изображения объекта, поэтому определение место положения объекта на изображении, основываясь только на положениях ключевых точек, является некорректным. Рисунок 2.1 – Пример расположения найденных локальных особенностей Наличие локальных признаков не гарантирует надёжную идентификацию из- за возможности повторяемости признаков на других объектах и возможности искажения. В этой связи для повышения надёжности идентификации необходимо расширить вектор локальных признаков одним из глобальных, позволяющего 51 идентифицировать объект. Из глобальных признаков следует выделить цветовую гистограмму, так как цветовая гистограмма вычисляется быстро и не зависит от поворота и масштаба изображения. Предложена модель представления изображения объекта в виде совокупности интеральных и локальных признаков изображения объекта: 0 1 0 1 , , ( , ) , , ref ref ref m ref ref ref n K K K F x y H H H , где ( , ) F x y – прямоугольная матрица значений интенсивности пикселей, K ref – вектор ключевых точек изображения объекта размерности m, H ref – цветовая гистограмма изображения объекта, состоящей из n элементов. Для повышения быстродействия предлагается перед началом анализа видеопотока осуществить следующие действия: 1. Создать набор изображений с проективными искажениями образца. 2. Найти на каждом созданном изображении ключевые точки. 3. Вычислить дескрипторы каждой ключевой точки. Описанные шаги по вычислению дескрипторов ключевых точек на предварительно проективно искаженных изображениях образца позволяют использовать алгоритмы для поиска и описания ключевых точек, которые являются неустойчивыми к проективным преобразованиям. Таким образом, общая схема алгоритма поиска может быть представлена в виде двух этапов [50]: 1. Быстрый поиск областей претендентов с изображением объекта с помощью ключевых точек. 2. Идентификация объекта на изображении на основе глобального признака – цветовой гистограммы. На основании этой схемы, сформулированных требований к системе и предложенному методу вычисления дескрипторов на проективно искажённых изображениях образца можно определить набор функций, которыми должна 52 обладать система, провести функциональное проектирование. Функциональная модель описывается на основании нотации IDEF0 [51]. 2.2.1 Диаграмма верхнего уровня При рассмотрении системы с точки зрения функции верхнего уровня выделены следующие положения (см. рисунок 2.2): базовой функцией системы является нахождение объекта в видеопотоке; входными потоками системы являются изображение объекта и видеопоток; механизмом, при помощи которого функционирует система, является программа; выходными данными являются набор изображений объекта в видеопотоке. Рисунок 2.2 – Контекстная диаграмма верхнего уровня 53 2.2.2 Диаграмма первого уровня В результате первичной декомпозиции диаграммы верхнего уровня A-0 получена диаграмма A0 (см. рисунок 2.3). Декомпозиция функции верхнего уровня системы выявляет следующие основные функции: — функция вычисления вектора дескрипторов по многомерной матрице проективно искажённых изображений объекта (А1); — функция вычисления гистограммы изображения объекта (А2); — функция извлечения кадра из видеопотока (А3); — функция вычисления вектора ключевых точек кадра видеопотока (А4); — функция нахождения областей претендентов объекта на кадре (A5); — функция идентификации объекта в найденных областях претендентов на основании вычисления цветовых гистограмм (A6). На диаграмме A0 выделены основные информационные потоки: 1. Поток, содержащий изображение искомого объекта. 2. Видеопоток. Данный поток включает в себя набор кадров, на которых осуществляется поиск объекта. В функции идентификации по выделенным областям кадра находится область с ближайшим соответствием гистограммы изображения искомого объекта. 54 Рисунок 2.3 – Контекстная диаграмма первого уровня 55 2.2.3 Диаграммы второго уровня Функция вычисления вектора дескрипторов многомерной матрицы изображений объекта А1 декомпозирована на этапы (см. рисунок 2.4), механизмом которых является программа: 1. Преобразование изображения в полутоновое (A11). Управлением осуществляется формулой преобразования изображения в полутоновое. 2. Генерация изменений масштаба (A12) согласно управлению – параметрам масштаба. На этом этапе создаётся вектор масштабированных изображений объекта. 3. Генерация изменений наклона камеры (A13) согласно параметрам наклона. Этот этап создаёт матрицу изображений из вектора масштабированных изображений изменением наклона камеры. 4. Генерация изменения поворота объекта согласно параметрам поворота (A14). Этот этап создаёт трехмерный массив изображений из матрицы масштабированных изображений изменением угла поворота изображения объекта. Выходом функции является трёхмерная матрица изображений объекта. 5. Нахождение координат ключевых точек изображения объекта (A15). Ключевая точка описывается координатами областей изображения и дескриптором. На этом шаге находятся координаты уникальных ключевых точек. Выходом функции является вектор координат с радиусом окружностей ключевых точек. 6. Вычисление дескрипторов ключевых точек (A16) на трёхмерной матрице изображений объекта. Дескриптор ключевой точки – это вектор параметров, вычисленных на изображении в области ключевой точки. Ключевая точка описывается координатами центра и радиусом окружности. Управление осуществляется вектором координат центра и радиусом окружностей ключевых точек, и пороговым значением. Выходом является вектор дескрипторов изображений объекта. 56 Рисунок 2.4 – Диаграмма функции вычисления вектора дескрипторов изображения объекта (A1) 57 Описанные этапы A11, A12, A13, A14, A15 и A16 – это шаги метода вычисления дескрипторов на проективно искажённых изображениях образца. Результат декомпозиции функции извлечения кадра из видеопотока A3 представлен на рисунке 2.5. В процессе выполнения функции видеопоток проходит через следующие этапы: 1. Демультипликация. Этот этап необходим для извлечения закодированного видеосигнала из контейнера (А31). 2. Декодирование. Этап необходим для пердставления закодированного видеосигнала в набор изображений, удобных для обработки в функции поиска объекта в видеопотоке (А32). 3. Выделение кадра. На этом этапе согласно параметрам кадра из декодированного видеопотока, извлекается кадр. Рисунок 2.5 – Диаграмма функции извлечения изображения из видеопотока (A3) Функция вычисления вектора ключевых точек кадра A4 декомпозирована на следующие этапы (см. рисунок 2.6): 58 1. Преобразование в полутоновое (А41); 2. Нахождение координат ключевых точек кадра (А42); 3. Вычисление дескрипторов в найденных координатах кадра (A43). Вектор координат ключевых точек необходим для вычисления дескрипторов (A43). Выходом функции является вектор ключевых точек с информацией о номере кадра, координатах и дескрипторе по каждой ключевой точке. Рисунок 2.6 – Диаграмма функции вычисления вектора ключевых точек кадра (A4) Функция нахождения областей претендентов объекта на кадре (A5) декомпозирована на составляющие (см. рисунок 2.7): 1. Нахождение общих ключевых точек (A51). На вход поступает вектор ключевых точек кадра. Управление осуществляется вектором дескрипторов объекта. Используя меру близости, определяются ключевые точки, дескрипторы которых считаются одинаковыми с дескрипторами изображения объекта, т. е. изображения областей, на которые указывают ключевые точки, считаются 59 «похожими». В случае получения непустого множества после пересечения, выводятся общие ключевые точки и информация о номере кадра. 2. Пропускание кадра (A52). Согласно информации о номере кадра принимается решение о пропуске входного кадра видеопотока для дальнейшей обработки. 3. Получение областей претендентов (A53). Входной вектор координат ключевых точек кадра объединяется согласно размеру окна в области, которые подаются на выход функции. Центральными функциями системы являются функции нахождения ключевых точек изображения объекта (A15) и кадра (A42), вычисления дескрипторов ключевых точек изображения объекта (A16) и кадра (A43), нахождения общих ключевых точек по дескрипторам (A51) и идентификации кадра на предмет наличия изображения объекта (A6). От результата выполнения этих функций зависит качество и скорость обнаружения объекта в видеопотоке. Далее рассматриваются подробнее алгоритмы нахождения ключевых точек совместно с вычислением дескрипторов, алгоритмы нахождения пересечения дескрипторов и алгоритмы, позволяющие идентифицировать изображение объекта в области кадра по вычислению гистограммы. |