Распознавание объектов в видеопотоке. видеопоток. Метод и алгоритмы поиска объекта в видеопотоке
 Скачать 3.84 Mb.
|
|
1 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» На правах рукописи Пастушков Александр Викторович МЕТОД И АЛГОРИТМЫ ПОИСКА ОБЪЕКТА В ВИДЕОПОТОКЕ 05.13.17 – Теоретические основы информатики Диссертация на соискание учёной степени кандидата технических наук Научный руководитель: Калайда Владимир Тимофеевич, д.т.н., профессор Томск – 2017 2 Оглавление Введение ........................................................................................................................... 5 1 Анализ методов и алгоритмов обнаружения объекта и слежения за объектом в видеопотоке .................................................................................................................... 11 1.1 Классификация методов и алгоритмов обнаружения объекта и слежения за объектом в видеопотоке ........................................................................................... 11 1.2 Детерминированные методы .............................................................................. 11 1.2.1 Методы поиска по шаблону ........................................................................ 12 1.2.2 Методы поиска оптического потока .......................................................... 15 1.2.3 Методы поиска особенных точек ............................................................... 16 1.3 Вероятностные методы ....................................................................................... 31 1.4 Нейросетевые методы ......................................................................................... 32 1.4.1 Классическая нейронная сеть ..................................................................... 33 1.4.2 SNoW – разреженная просеивающая сеть ................................................. 34 1.5 Комбинированные методы ................................................................................. 34 1.5.1 Метод Виолы–Джонса ................................................................................. 35 1.5.2 Метод TLD .................................................................................................... 38 1.6 Проблемы обнаружения и слежения за объектом в видеопотоке .................. 41 1.7 Сравнение алгоритмов и методов выделения объекта в видеопотоке .......... 42 1.8 Выводы ................................................................................................................. 48 2 Метод и алгоритм поиска объекта в видеопотоке .................................................. 49 2.1 Определение требований .................................................................................... 49 2.2 Функциональная модель ..................................................................................... 50 2.2.1 Диаграмма верхнего уровня ........................................................................ 52 2.2.2 Диаграмма первого уровня ......................................................................... 53 2.2.3 Диаграммы второго уровня ......................................................................... 55 3 2.3 Выбор процедуры нахождения ключевых точек и вычисления дескрипторов ..................................................................................................................................... 60 2.4 Алгоритмы и методы нахождения пересечения дескрипторов ...................... 62 2.4.1 RANSAC ........................................................................................................ 63 2.4.2 Алгоритм Куна-Манкреса ........................................................................... 64 2.4.3 Алгоритм ограничения области поиска объекта в кадре ......................... 65 2.5 Алгоритм идентификации области изображения ............................................ 67 2.5.1 Градиентный спуск ...................................................................................... 68 2.6 Алгоритм поиска объекта в видеопотоке ......................................................... 71 2.7 Структурная модель ............................................................................................ 74 2.7.1 Структура модуля вычисления вектора дескрипторов объекта .............. 75 2.7.2 Структура модуля извлечения кадра ......................................................... 76 2.7.3 Структура модуля вычисления вектора ключевых точек кадра ............. 77 2.7.4 Структура модуля поиска областей претендентов ................................... 77 2.8 Выводы ................................................................................................................. 78 3 Проектирование и реализация программы поиска объекта в видеопотоке ......... 79 3.1 Проектирование классов системы ..................................................................... 79 3.2 Сценарии работы системы ................................................................................. 79 3.2.1 Сценарий инициализации изображения объекта ...................................... 81 3.2.2 Сценарий поиска кадров объекта в видеопотока ...................................... 81 3.3 Реализация программы поиска объекта в видеопотоке .................................. 85 3.4 Описание технологий ......................................................................................... 85 3.5 Выводы ................................................................................................................. 88 4 Тестирование системы ............................................................................................... 89 4.1 Схема проведения тестирования ....................................................................... 89 4 4.2 Результаты тестирования ................................................................................... 92 4.2.1 Тестирование инвариантности к проективным изменениям ................... 92 4.2.2 Сравнение результатов методов поиска по вероятности обнаружения объекта .................................................................................................................. 101 4.2.3 Сравнение быстродействия разработанного метода с методом SURF 102 4.2.4 Тестирование производительности .......................................................... 104 4.2.5 Применение метода для видео, полученных в реальных условиях ...... 111 4.3 Выводы ............................................................................................................... 115 Заключение .................................................................................................................. 116 Список литературы ..................................................................................................... 118 Приложение А (справочное) Справки и акты об использовании результатов диссертационной работы ............................................................................................ 129 Приложение Б (справочное) Свидетельство о регистрации программы для ЭВМ ....................................................................................................................................... 131 Приложение В (справочное) Текст скрипта программы для вычисления значений ROC кривой .................................................................................................................. 132 5 Введение Актуальность темы исследования. Информация о многих физических процессах представляется в виде скалярного поля. Системы безопасности, наблюдения, навигационные, ограниченного доступа, метеорологии являются областями анализа видеопотока. Одной из важных задач является выделение объекта в видеопотоке. С этой задачей связаны задачи слежения за объектом, сопоставления изображения с базой данных, поиск дубликатов изображений, соединения кадров. Анализ научных работ по данному направлению исследований показал, что задача поиска объекта изучается многими исследователями (Т. Анштедт, И. Келлер, Х. Лутц [1], Guoshen Yu [2], P. Viola, M.J. Jones [3], Соколов С. М., Богуславский А. А. [4], Потапов А. С. [5] и др.), но, несмотря на это, на сегодняшний день задача не является полностью решённой. Процесс поиска объекта осложняется аффинными, проективными искажениями, перекрытием объекта другими объектами и шумом приёмника (датчика). Для реальных практических приложений задача должна обрабатывать видеопоследовательность в реальной скорости получения потока данных. Методы выделения объекта можно разделить на следующие группы: нейросетевые методы; комбинированные методы; вероятностные методы; детерминированные методы. Нейросетевые [6] и часть комбинированных методов с предварительным обучением [3] используются только на классах объектов, вошедших в обучаемые выборки. При этом сам процесс обучения системы является трудоёмким. В комбинированных методах с динамическим обучением [7] предполагается, что проективные искажения изображения объекта между соседними кадрами незначительны, и параметры поиска адаптируются к изменению проективных свойств изображения объекта между соседними кадрами в процессе слежения, 6 поэтому эта группа методов неприменима для поиска. Для вероятностных методов [8] необходимо задать начальное положение на первом кадре, поэтому они в основном используются только для слежения в видеопотоке. Из детерминированных методов самыми устойчивыми к проективным искажениям являются методы, основанные на поиске особенных точек [9], [2]. Однако их недостатком является высокая вычислительная сложность. В связи с вышеизложенным объектом исследования в работе является задача поиска объекта в видеопотоке без предварительного обучения. В связи с чем, предметом исследования являются методы цифровой обработки изображений, используемые для решения задач по поиску объекта и слежению за объектом в видеопотоке. Существующие в настояшее время решения этой проблемы, такие как Google Glass [10], Microsoft HoloLens [11], Kinect SDK [12], Metaio SDK [13], Vuforia SDK [14], Kudan SDK [15], OpenCV [16], продукты компании «Синезис» [17] обладают рядом недостатков, которые ограничивают область использования продуктов. Среди них следует отметить: ориентированность на узкий круг задач (в решении задачи используются ограничения, применяемые в определённой области); необходимость дополнительного специального оборудования (сенсоры, датчики); длительный процесс предварительного обучения. Актуальность данной задачи в Российской Федерации подтверждается включением задачи «Информационно-телекоммуникационные системы» в список приоритетных направлений развития науки, технологии и техники в Российской Федерации [18] и внесением «Технологии информационных, управляющих, навигационных систем» в перечень критических технологий Российской Федерации [18]. Цели и задачи исследования. Цель исследования: разработка инвариантных к проективным преобразованиям и условиям съёмки алгоритмов, 7 обеспечивающих поиск заданного объекта в видеопотоке в реальном масштабе времени. Для достижения этой цели необходимо решить следующие задачи: 1. Определение набора требований к системе поиска объекта в видеопотоке. 2. Разработка метода поиска объекта в видеопотоке. 3. Определение эффективного набора функций системы. 4. Разработка функциональной и структурной модели системы. 5. Разработка алгоритмов поиска объекта в видеопотоке, обеспечивающих поиск заданного объекта в видеопотоке в реальном масштабе времени. 6. Реализация алгоритмов поиска объекта в видеопотоке в программной системе. 7. Экспериментальное исследование эффективности работы системы – оценка качества процесса поиска объекта в видеопотоке. Научная новизна. 1. Предложен метод поиска объекта в видеопотоке, включающий шаги вычисления дескрипторов ключевых точек на основе предварительно проективных искажений образца, и оценки меры схожести дескрипторов кадра и дескрипторов объекта, позволяющий уменьшить время поиска объекта. 2. Предложена модель формализованного описания параметров объекта, используемых для идентификации на базе совмещения интегральных и локальных признаков изображения объекта, обеспечивающая уменьшение ошибок поиска. 3. Разработан новый алгоритм поиска объекта в видеопотоке, основанный на обнаружении и сопоставлении ключевых точек изображения и использующий цветовую гистограмму для идентификации изображения объекта, позволяющий повысить вероятность обнаружения. 4. Предложен новый алгоритм сопоставления образца и области кадра, основанный на выборе масштаба сравниваемой области по масштабу сопоставляемого набора ключевых точек, обеспечивающий уменьшение количества анализируемых областей кадра. 8 Практическая значимость работы. 1. Основные результаты диссертации внедрены в компании ООО «Универсальные терминал системы» в виде программного модуля, предназначенного для осуществления поиска объекта в видеопотоке, и используемого в коммерческом продукте игрового движка GameX, поставляемого компанией ООО «Универсальные терминал системы». Копия акта внедрения результатов диссертационной работы приведена в Приложении А. 2. Разработанный алгоритм поиска объекта в видеопотоке послужил основой для создания программы слежения за объектом в видеопотоке – «Object tracking PS». Копия свидетельства о регистрации программы представлена в Приложении Б. 3. Разработанный в диссертации алгоритм поиска объекта в видеопотоке использован при выполнении научно-исследовательской работы №2013-1.5-14- 515-0036-109 «Разработка технологий активного и пассивного зондирования атмосферы земли в оптическом и радио диапазонах для создания распределенной информационно-вычислительной системы комплексной обработки, передачи и использования экспериментальных данных» (2013 г.), проведенной на кафедре оптико-электронных систем и дистанционного зондирования Томского государственного университета. 4. Предложенные автором метод и алгоритмы использованы при разработке алгоритмов кластеризации облачных полей по спутниковым изображениям земной поверхности по теме: «Разработка радиофизических, оптических и ультразвуковых методов, аппаратуры и программных средств для комплексных исследований окружающей среды», выполняемой НИ ТГУ в рамках программы «Государственная поддержка ведущих университетов Российской Федерации в целях повышения их конкурентной способности среди ведущих мировых научно- образовательных центров» (проект № 1.42.2014). 5. Программно-техническая система слежения за объектом в видеопотоке «Object tracking PS», созданная в рамках диссертационного исследования, используется в Федеральном государственном бюджетном учреждении науки в 9 Институте оптики атмосферы им. В.Е. Зуева Сибирского отделения Российской академии наук (ИОА СО РАН) для решения задачи определения скорости и направления ветра по слежению за облачными полями. Копия акта внедрения результатов диссертационной работы приведена в Приложении А. Методология и методы исследования. В качестве основных методов исследования выбраны методы обработки цифровых изображений, системного анализа, метод функционального проектирования по методологии IDEF0: метод структурного проектирования; методы объектно-ориентированного проектирования; методы объектно-ориентированного программирования. Защищаемые положения. 1. Метод поиска объекта в видеопотоке, включающий шаги вычисления дескрипторов ключевых точек по предварительно искаженному проективными преобразованиями изображению образца и оценки меры схожести дескрипторов кадра и объекта, позволяет повысить скорость обработки до ≈ 10 раз. Соответствует пункту 7 паспорта специальности: Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. 2. Методика поиска объекта в видеопотоке, основанная на анализе ключевых точек и использовании алгоритмов идентификации, инвариантных к проективным искажениям изображения, позволяет повысить вероятность нахождения объекта с ≈ 0,8 до уровня ≈ 0,9. Соответствует пункту 5 паспорта специальности: Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений. 3. Алгоритм ограничения области поиска объекта в кадре, основанный на оценке масштабов ключевых точек проективно искаженных изображений объекта, обеспечивает уменьшение времени поиска объекта до ≈ 10%. Соответствует пункту 5 паспорта специальности: Разработка и исследование моделей и алгоритмов анализа данных, обнаружения 10 закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений. 4. Программная система поиска объекта в видеопотоке, использующая все вычислительные ресурсы ЭВМ, обеспечивает решение задачи в условиях проективных искажений со скоростью обработки 25 кадров в секунду для размеров картинки до 960×540 точек. Соответствует пункту 1 паспорта специальности: Исследование, в том числе с помощью средств вычислительной техники, информационных процессов, информационных потребностей коллективных и индивидуальных пользователей. Достоверность результатов. Степень обоснованности результатов, изложенных в диссертации, обеспечивается корректностью постановки задачи, тщательным анализом предложенных методов и алгоритмов, а также подтверждается удовлетворительным согласием результатов численных расчётов и экспериментальных данных. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: международная научно-практическая конференция «Современные направления теоретических и прикладных исследований ‘2014» (г. Одесса, 2014); международная научно- практическая конференция «Актуальные проблемы радиофизики» (г. Томск, 2013, 2015); международная научно-практическая конференция «Перспективные инновации в науке, образовании, производстве и транспорте ‘2013» (г. Одесса, 2013); международный симпозиум «Оптика атмосферы и океана. Физика атмосферы» (г. Томск, 2015). Основное содержание диссертации отражено в 11 научных работах, в том числе в 3 статьях в журналах, входящих в перечень ВАК, в 1 статье в журнале, входящем в cистему Web Of Science. Получено свидетельство о государственной регистрации программы для ЭВМ (№2014662190). Работа выполнена при поддержке Министерства образования и науки РФ в соответствии с государственным заданием ТУСУР 2.8172.2017/8.9. |